董朋欣，董安國，李楚婷，梁苗苗

1.長安大學(xué) 理學(xué)院，西安 710064

2.江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000

關(guān)于高光譜圖像（hyperspectral image，HSI）分類方法的研究，一直以來都是遙感影像信息系統(tǒng)的熱點課題，在農(nóng)業(yè)、航天、環(huán)境、氣象等領(lǐng)域[1]引起了極大關(guān)注。高光譜圖像具有高覆蓋率和空譜域信息合一的特性。隨著“高分五號”對地觀測衛(wèi)星[2]的發(fā)射成功，所得到的光譜數(shù)據(jù)維數(shù)越來越高，極大引發(fā)了“維度災(zāi)難”，與此同時，HSI還存在標簽數(shù)據(jù)較少的問題。

在分類方法中，傳統(tǒng)的支持向量機[3]（SVM）、稀疏自編碼[4]（SAE）等方法僅利用了圖像的光譜信息，導(dǎo)致出現(xiàn)圖像分類精度低、分類結(jié)果雜亂等問題。而多尺度自適應(yīng)稀疏表示[5]（MASR）考慮到不同尺度之間存在既互補又相關(guān)的分類信息，提出自適應(yīng)稀疏融合矩陣；基于復(fù)合核的支持向量機算法[6]（CK-SVM），同時利用了譜特征和空間特征，優(yōu)于傳統(tǒng)的SVM方法。近年來，深度學(xué)習(xí)憑借自身非線性表征能力強、移植性高的優(yōu)點，在圖像分類方面取得極大進步。Feng等人采用堆棧自動編碼器[7]和深度置信網(wǎng)絡(luò)[8]對高光譜數(shù)據(jù)進行無監(jiān)督分類學(xué)習(xí)；Chen等人[9]通過改進卷積神經(jīng)網(wǎng)絡(luò)（CNN），將鄰域塊作為網(wǎng)絡(luò)輸入，提出三維CNN（3D-CNN）網(wǎng)絡(luò)框架；文獻[10]提出一種通過上下文編碼、多徑解碼和邊界劃分提高性能的語義分割模型；王立偉等人[11]將深度遷移學(xué)習(xí)用于HSI分類；Mahajan等人[12]利用預(yù)訓(xùn)練好的殘差網(wǎng)絡(luò)提取圖像特征，并用SVM進行分類（Resnet-SVM）；基于CNN的全卷積網(wǎng)絡(luò)[13]，將不同跳級結(jié)構(gòu)有效融入深層特征和淺層特征。由于HSI地物的復(fù)雜性，空間、紋理等特征仍沒有得到很好的提取，且有限的標記樣本極大限制了對深度網(wǎng)絡(luò)模型的訓(xùn)練。

針對此問題，本文提出一種基于全卷積網(wǎng)絡(luò)和堆棧稀疏自編碼（sparse stacked auto-encoder，SSAE）的分類算法。通過遷移預(yù)訓(xùn)練好的全卷積網(wǎng)絡(luò)參數(shù)，提取數(shù)據(jù)多尺度幾何結(jié)構(gòu)特征，然后選取其特征的像素鄰域信息，并與具有光譜特征的原高光譜數(shù)據(jù)進行拼接融合，最后將此特征的像元輸入SSAE網(wǎng)絡(luò)得到最終的多尺度空譜融合特征，并連接Softmax分類器完成所提空譜特征的分類。

1 全卷積網(wǎng)絡(luò)和堆棧稀疏自編碼器

1.1 全卷積網(wǎng)絡(luò)

對于像素級分割的全卷積網(wǎng)絡(luò)[13]（fully convolutional network，F(xiàn)CN）而言，它可以預(yù)測圖中每一個像素的分類結(jié)果，是一個像素級端對端的學(xué)習(xí)結(jié)構(gòu)，它將全連接層轉(zhuǎn)化為卷積層，獲得與原數(shù)據(jù)空間維度一致的特征，保留了其圖像的空間結(jié)構(gòu)，并且輸入圖像的尺寸更加靈活、方便。研究證實，大規(guī)模自然圖像數(shù)據(jù)下訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)都有較強的泛化能力[14]。因此，F(xiàn)CN實現(xiàn)過程用VGG-16[15]網(wǎng)絡(luò)做初始化，在此基礎(chǔ)上進行微調(diào)。圖1為FCN的簡易結(jié)構(gòu)圖，圖中矩形表示卷積層，網(wǎng)格表示池化層，其中卷積層的核尺度標記在矩形內(nèi)部（如3×3conv，64表示64個大小為3×3的卷積核），池化層步長為2，圖中也直觀的展示了FCN在PaviaU數(shù)據(jù)集（3.1節(jié)介紹）下各網(wǎng)絡(luò)結(jié)構(gòu)層所提取的特征效果。具體操作步驟如下：

圖1 FCN結(jié)構(gòu)示意圖（以PaviaU數(shù)據(jù)為例）Fig.1 FCN structure diagram（takeing PaviaU data as an example）

（1）首先保留VGG-16網(wǎng)絡(luò)中所有卷積層和池化層，再將VGG-16中的全連接層（fc6、fc7）轉(zhuǎn)化為卷積層（conv6、conv7），圖中也顯示了FCN部分網(wǎng)絡(luò)結(jié)構(gòu)（池化層和conv6、conv7）所提取的特征效果。

（2）在conv7層后，連接conv7預(yù)測層，并且對其預(yù)測層執(zhí)行32倍上采樣操作，即FCN-32s，所得到的空間結(jié)構(gòu)特征與輸入圖像大小一致。

（3）加入2種跳級結(jié)構(gòu)：第一種，在pool4層后，連接pool4預(yù)測層，然后對conv7預(yù)測層進行步長為2的上采樣，并與pool4預(yù)測層相加融合，再將融合特征執(zhí)行16倍上采樣操作，實現(xiàn)像素級圖像分割，即FCN-16s。第二種，在pool3層后，連接pool3預(yù)測層，再將FCN-16s操作步驟中的融合特征進行步長為2的上采樣，并與pool3預(yù)測層逐數(shù)據(jù)相加融合，最后將所得的融合特征執(zhí)行8倍上采樣操作，即FCN-8s。

從圖中可以看出，F(xiàn)CN-8s有效結(jié)合了淺層信息和深層信息，所捕獲到的多尺度幾何結(jié)構(gòu)特征更為精細。

1.2 堆棧稀疏自編碼器

堆棧稀疏自編碼器[4]（SSAE）是借助稀疏自編碼[4]（包含編碼和解碼兩部分）實現(xiàn)相鄰層級之間的參數(shù)學(xué)習(xí)，如圖2為四隱層的堆棧稀疏自編碼網(wǎng)絡(luò)模型，包含六層層級結(jié)構(gòu)的前饋型拓撲無環(huán)神經(jīng)網(wǎng)絡(luò)，它將前一層自編碼器的編碼部分作為后一層自編碼器的輸入，通過逐層無監(jiān)督學(xué)習(xí)策略逐步堆棧形成，可提取出圖像的深層結(jié)構(gòu)特征。如果將其最后一個隱層與分類器連接，則可通過有監(jiān)督微調(diào)實現(xiàn)分類。

圖2 堆棧稀疏自編碼網(wǎng)絡(luò)模型Fig.2 Sparse stacked auto-encoder network model

本文以最小平方誤差作為網(wǎng)絡(luò)訓(xùn)練的損失度量準則，SSAE的目標優(yōu)化函數(shù)[4]用下式進行表示：

式中，s為輸入樣本總數(shù)量，x(i)為第i組樣本原輸入值，z(i)為第i組樣本重構(gòu)輸出值，λ為權(quán)重衰減系數(shù)，ρ為期望激活比例，β為稀疏性正則項系數(shù)。

假設(shè)網(wǎng)絡(luò)有四個隱層，輸入層節(jié)點數(shù)為lin，輸出層節(jié)點數(shù)為lout，每個隱層的節(jié)點數(shù)分別為l1、l2、l3、l4，則SSAE網(wǎng)絡(luò)可表示為：lin-l1-l2-l3-l4-lout。其中輸入層節(jié)點數(shù)為輸入數(shù)據(jù)的特征維度，輸出層節(jié)點數(shù)為分類對象類別數(shù)，一旦實驗數(shù)據(jù)集確定，輸入層和輸出層節(jié)點數(shù)也隨之確定。而隱藏層節(jié)點數(shù)可自行設(shè)置，但不合理的節(jié)點數(shù)選取會造成數(shù)據(jù)欠擬合或過擬合，因此選取合適的隱藏層節(jié)點數(shù)顯得尤為重要。文獻[16]提出的經(jīng)驗公式可快速有效地確定隱層節(jié)點數(shù)，公式如下：

其中，lh為隱層節(jié)點數(shù)，lh-為前一層節(jié)點數(shù)，lh+為后一層節(jié)點數(shù)。

但當輸入數(shù)據(jù)的特征維度過高時，發(fā)現(xiàn)此方法求得的節(jié)點數(shù)較多，導(dǎo)致網(wǎng)絡(luò)運行時間稍長，因此，在此基礎(chǔ)上本文提出新的經(jīng)驗公式：

式中輸出層節(jié)點數(shù)為lout。

2 基于全卷積網(wǎng)絡(luò)和堆棧稀疏自編碼的分類算法

由于HSI標記樣本有限，不能較好地對深度網(wǎng)絡(luò)參數(shù)進行訓(xùn)練。研究表明，大規(guī)模自然圖像數(shù)據(jù)下訓(xùn)練得到的網(wǎng)絡(luò)，其濾波器參數(shù)具有較好的遷移能力[14]。本文將利用預(yù)訓(xùn)練好的FCN-8s網(wǎng)絡(luò)，挖掘圖像多尺度幾何結(jié)構(gòu)特征，由于FCN-8s參數(shù)是在三維圖像數(shù)據(jù)集（RGB圖像）上學(xué)習(xí)的，所以先對HSI降維處理。對此，提出一種基于全卷積網(wǎng)絡(luò)和堆棧稀疏自編碼的分類算法（FCN8s-SSAE），由提取多尺度特征和融合空譜特征兩部分組成，如圖3所示，具體步驟如下：

圖3 FCN8s-SSAE算法模型圖Fig.3 FCN8s-SSAE algorithm model diagram

（1）以自然圖像集上訓(xùn)練的VGG-16網(wǎng)絡(luò)為初始化，在此基礎(chǔ)上進行微調(diào)（如1.1節(jié)所述），形成FCN-8s網(wǎng)絡(luò)，并通過PASCAL VOC 2011數(shù)據(jù)集（其包含1個背景類別和20個目標類別），訓(xùn)練FCN-8s網(wǎng)絡(luò)參數(shù)[13]。

（2）遷移已訓(xùn)練好的FCN-8s參數(shù)，將HSI通過PCA[17]進行降維，并取其前三個主成分作為FCN-8s的輸入，提取HSI多尺度幾何結(jié)構(gòu)特征，即21個空間結(jié)構(gòu)圖。

（3）以空間結(jié)構(gòu)圖中每個像素點為中心，選取其給定窗口k×k大小的像素鄰域塊，將鄰域塊數(shù)據(jù)按列拉直成一維向量，獲取數(shù)據(jù)空間信息。

（4）把所獲取的空間信息與具有光譜信息的原高光譜數(shù)據(jù)進行拼接，形成初始融合特征。

（5）最后將初始融合特征的像元輸入SSAE網(wǎng)絡(luò)得到最終的多尺度空譜融合特征，并連接Softmax分類器[18]完成所提特征的分類。

3 實驗與分析

3.1 實驗數(shù)據(jù)和評估方法介紹

本文選取三組公開的遙感圖像數(shù)據(jù)集進行分類實驗，并通過整體精度OA、平均精度AA、Kappa系數(shù)三個評估指標進行定量分析。數(shù)據(jù)集介紹如下：

IndianP數(shù)據(jù)：Indian Pines影像由波長為0.4～2.5μm，大小為145×145的像素點組成，包含200個光譜波段（移去受水汽等干擾因素的20個波段）和10 249個樣本點，共16類地物（如草地、農(nóng)田等）。圖4（a）顯示了該數(shù)據(jù)集的偽彩圖（波段50，27，17）和真實地物圖。

PaviaU數(shù)據(jù)：Pavia University影像由空間分辨率為1.3 m，大小為610×340的像素點組成，包含103個光譜波段（移去受噪聲等干擾的12個波段）和42 776個樣本點，共9種地物（如樹、瀝青道路、牧場等）。圖4（b）為該數(shù)據(jù)集的偽彩圖（波段26，47，100）和真實地物圖。

圖4 實驗數(shù)據(jù)的偽彩圖和真實地物圖Fig.4 Pseudo color map and real object map of experimental data

SalinasF數(shù)據(jù)：Salinas影像大小為512×217×204，空間分辨率為3.7 m，共16種地物（如葡萄園、蔬菜等），包含54 129個樣本點。圖4（c）顯示了該數(shù)據(jù)集的偽彩圖（波段77，48，18）和真實地物圖。

3.2 參數(shù)分析與設(shè)置

本文所提算法FCN8s-SSAE中，所含超參數(shù)主要有鄰域窗口大小k，自編碼網(wǎng)絡(luò)中的權(quán)重衰減系數(shù)λ、稀疏性正則項系數(shù)β、期望激活比例ρ以及隱層節(jié)點數(shù)lh、隱層層數(shù)。

鄰域窗口大小k選取范圍在3到11之間。圖5（a）顯示，鄰域窗口尺寸與整體分類精度呈現(xiàn)兩側(cè)低、中間高的走勢。當窗口較小或較大時，由于空間特征利用不足或者鄰域信息中易引入異類像元的問題，導(dǎo)致整體分類精度較低。因此，依次設(shè)定三組數(shù)據(jù)集的鄰域窗口參數(shù)k分別為7、5、7。

圖5 參數(shù)k、λ、隱層層數(shù)對實驗數(shù)據(jù)整體精度的影響Fig.5 Effect of parameter k、λand number of hidden layers on overall accuracy of experimental data

權(quán)重衰減系數(shù)λ在3×10-1至3×10-5范圍之間進行選取，如圖5（b）所示，三組實驗數(shù)據(jù)在10-1時所得到的分類精度很低，在10-2時精度快速提高，隨后在10-3到10-5之間趨于穩(wěn)定。因此，參數(shù)λ在三組實驗數(shù)據(jù)集上均設(shè)為3×10-3最為合適。

稀疏性正則項系數(shù)β和期望激活比例ρ均屬于稀疏性約束參數(shù)，于是對這兩個參數(shù)同時進行實驗分析，其中β、ρ選取范圍分別在1至5和0.2至0.9之間。圖6顯示，參數(shù)β在2到4范圍，ρ在0.3到0.6范圍取值時，實驗結(jié)果較為穩(wěn)定且分類精度都較好。所以，三個數(shù)據(jù)均設(shè)置ρ=0.3，IndianP和Salinas數(shù)據(jù)設(shè)置參數(shù)β=2，PaviaU數(shù)據(jù)設(shè)置β=3。

圖6 稀疏約束參數(shù)β和ρ對實驗數(shù)據(jù)整體精度的影響Fig.6 Effect of sparsity constraint parameterβandρon overall accuracy of experimental data

隱層層數(shù)選取范圍在1到5之間。由圖5（c）可知，隨著網(wǎng)絡(luò)層數(shù)的增加，分類精度不斷提高，出現(xiàn)這樣的現(xiàn)象是因為多隱層網(wǎng)絡(luò)比單隱層網(wǎng)絡(luò)能更好對數(shù)據(jù)進行表征，學(xué)習(xí)到更為抽象的數(shù)據(jù)特征。但這種提高是有上限的，當隱層層數(shù)過多時，會出現(xiàn)梯度消失問題，導(dǎo)致準確率降低，因此隱層層數(shù)的設(shè)置合適就好。實驗得出，三組數(shù)據(jù)集的隱層層數(shù)均設(shè)置為4最好。

隱層節(jié)點數(shù)lh可根據(jù)改進的公式（3）求解方程組得到，解得三組數(shù)據(jù)集各網(wǎng)絡(luò)層節(jié)點數(shù)分別為1 229-140-47-27-21-16、628-75-26-15-12-9、1 233-140-47-27-21-16。為了驗證公式（3）改進有效，于是與文獻提出的公式（2）進行對比，通過公式（2）求解得到的各層節(jié)點數(shù)分別為1 229-510-212-88-37-16、628-264-111-47-20-9、1 233-515-215-90-38-16。表1展示了兩種經(jīng)驗公式所得節(jié)點數(shù)對分類精度的影響，結(jié)果顯示改進后的公式（3）分類準確率更好，且較少的節(jié)點數(shù)使網(wǎng)絡(luò)運行時間縮短。

表1 隱層節(jié)點數(shù)經(jīng)驗公式對比Table 1 Comparison of empirical formulas of hidden layer node number

3.3 FCN8s-SSAE算法的分布評估

本文所提算法FCN8s-SSAE主要由全卷積網(wǎng)絡(luò)的多尺度幾何特征提取和自編碼器的空譜特征融合兩部分完成。為了對算法各步驟的有效性進行證明，首先，將僅利用原光譜信息的光譜特征，僅利用全卷積網(wǎng)絡(luò)和鄰域塊進行特征提取出的空間特征，以及本文算法所提取出的空譜特征做進一步分析。在PaviaU和Salinas數(shù)據(jù)集上，利用t-SNE[19]方法對光譜、空間、空譜各特征進行可視化分析。從圖7觀察到，光譜特征未能完全將不同種類樣本分開，而空間特征很好地將不同種類間的樣本進行劃分，但同類樣本卻出現(xiàn)不同程度的離散化，相比本文所提出的空譜特征，樣本點呈現(xiàn)類間可分、類內(nèi)聚集的狀態(tài)，更加驗證了空譜融合步驟的有效性，從而也說明本文所提特征可分。

圖7 基于t-SNE方法的各特征可視化分布Fig.7 Visual distribution of features based on t-SNE method

3.4 實驗結(jié)果分析

為了對本文算法進行有效驗證，現(xiàn)將SAE、CK-SVM、MASR、3D-CNN、Resnet-SVM方法，F(xiàn)CN-32s、FCN-16s分別與SSAE結(jié)合形成的FCN32s-SSAE、FCN16s-SSAE算法，以及本文算法FCN8s-SSAE（共8種算法）進行對比分析。對于Indian數(shù)據(jù)，由于該數(shù)據(jù)各目標類分布不均勻（如Oats類有20個樣本，Soybean-mintill類有2 345個樣本，見表2），因此實驗隨機選取每類標記樣本的10%作為訓(xùn)練樣本，其余樣本用作測試。對于PaviaU數(shù)據(jù)和Salinas數(shù)據(jù)，分別選取各自每類樣本200個和60個作為訓(xùn)練樣本。其中，表2～4列出了6種算法在各數(shù)據(jù)集下的分類精度，圖8～10分別展示了6種算法的分類結(jié)果圖。

圖8 IndianP地區(qū)各方法的分類結(jié)果Fig.8 Classification results of various methods in IndianP

實驗觀察到，僅利用光譜信息的SAE方法整體分類精度較低、分錯點較多，均得到較差的分類結(jié)果；僅利用空間信息的Resnet-SVM算法分類結(jié)果有所提高，但在不同數(shù)據(jù)集上實驗，發(fā)現(xiàn)分類結(jié)果不夠穩(wěn)定且精度提升有限；CK-SVM、MASR、3D-CNN和FCN32s-SSAE、FCN16s-SSAE以及本文算法均通過融合空譜特征極大提高了分類精度，邊界區(qū)分效果明顯改善。表2～4顯示，在所有實驗數(shù)據(jù)上，本文算法的各目標類分類精度均達到90%以上，小樣本類也取得很好的分類準確率（如表2中的小樣本Oats類，只有20個樣本），但CKSVM、MASR方法在IndianP數(shù)據(jù)分類中整體精度很高，卻犧牲了小樣本類的準確性。在所有實驗數(shù)據(jù)上發(fā)現(xiàn)，F(xiàn)CN16s-SSAE算法精度優(yōu)于FCN32s-SSAE，F(xiàn)CN8s-SSAE算法精度優(yōu)于FCN16s-SSAE，三組數(shù)據(jù)集上均得到FCN8s-SSAE算法的分類精度最好，這是因為FCN-8s網(wǎng)絡(luò)通過跳級結(jié)構(gòu)對圖像的淺層特征和深層特征進行多次結(jié)合，所獲得的結(jié)構(gòu)特征更為精細，同時圖1也直觀地展示了這一結(jié)論。3D-CNN在三組數(shù)據(jù)集上也得到較好的分類精度，不足的是程序運行時間過長（以小時單位計算）。綜上分析，本文所提的FCN8s-SSAE算法優(yōu)于其他算法，所提取的最終融合特征具有較強的可分性，極大改善了HSI的分類結(jié)果。

表2 IndianP地區(qū)各方法的分類精度Table 2 Classification accuracy of various methods in IndianP

表3 PaviaU地區(qū)各方法的分類精度Table 3 Classification accuracy of various methods in PaviaU

表4 Salinas地區(qū)各方法的分類精度Table 4 Classification accuracy of various methods in Salinas

為了驗證FCN8s-SSAE策略的有效性，圖11通過改變訓(xùn)練樣本數(shù)量對各類方法進行測試。結(jié)果顯示，訓(xùn)練樣本數(shù)量與分類樣本整體呈現(xiàn)逐步升高的曲線走勢，空譜融合算法優(yōu)于僅考慮光譜特征的方法，以本文算法（FCN8s-SSAE）作為網(wǎng)絡(luò)輸入的特征提取方法均優(yōu)于其他算法。

圖11 訓(xùn)練樣本數(shù)量對各類算法精度的影響Fig.11 Influence of number of training samples on accuracy of various algorithms

圖9 PaviaU地區(qū)各方法的分類結(jié)果Fig.9 Classification results of various methods in PaviaU

圖10 Salinas地區(qū)各方法分類結(jié)果Fig.10 Classification results of various methods in Salinas

4 結(jié)束語

根據(jù)高光譜圖像空譜信息合一、數(shù)據(jù)高度非線性的特點，提出一種基于全卷積網(wǎng)絡(luò)和堆棧稀疏自編碼的分類算法。遷移預(yù)訓(xùn)練好的FCN-8s濾波器參數(shù)對圖像多尺度幾何結(jié)構(gòu)特征進行提取，改善了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與優(yōu)化。為了挖掘更具可分性的多尺度空譜特征，將其鄰域特征與譜特征進行拼接作為堆棧稀疏自編碼網(wǎng)絡(luò)的輸入，并通過Softmax分類器驗證最終所獲得特征的有效性和判別性。與現(xiàn)有的幾種方法相比，本文算法（FCN8s-SSAE）得到了較為滿意的分類精度，且邊界區(qū)域分類效果得到改善。本文仍然存在有待改進的地方，如超參數(shù)設(shè)置依靠大量實驗分析和人為經(jīng)驗設(shè)定，應(yīng)考慮更為高效合理的超參數(shù)設(shè)置方法，并且同時利用并行計算提高算法運行效率。