劉遵雄，蔣中慧，任行樂

(華東交通大學(xué) 信息工程學(xué)院, 江西 南昌 330013)

0 引言

高光譜圖像是利用遙感傳感器在高空中獲取地面物質(zhì)電磁波波段的特性得到的遙感圖像，相比于傳統(tǒng)的光學(xué)遙感傳感器，高光譜傳感器檢測到的波段范圍更加廣泛，不僅僅覆蓋人體肉眼可見的可見光部分，還包括紅外和紫外波段部分。不同的地面物質(zhì)有不同的電磁波反射特征，通過利用不同地物具有不同反射的特性可以完成對高光譜圖像數(shù)據(jù)的分類[1]。例如在城市地物、海洋生態(tài)、環(huán)境污染、農(nóng)業(yè)檢測等等領(lǐng)域都有著重要的作用。

為了利用高光譜圖像的光譜特征完成分類，很多分類方法被提出，例如隨機(jī)森林(random forest)方法[2]，支持向量機(jī)(support vector machine,SVM)方法[3-4]。相同物質(zhì)的像元在用訓(xùn)練樣本對其線性表示時，表示系數(shù)是相近的。為了利用該相似特性，基于稀疏表示的分類算法(sparse representation classification,SRC)[5-6]越來越多的被用于高光譜圖像數(shù)據(jù)的分類，通過訓(xùn)練樣本的稀疏線性組合來重構(gòu)一個測試像元，然后通過計算最小重構(gòu)誤差作為依據(jù)完成分類。由于高光譜圖像數(shù)據(jù)量大、維度高，對圖像信息的稀疏表示顯得尤為重要，同時稀疏表示可以有效獲取高光譜圖像數(shù)據(jù)的特征，具有良好的分類效果。

本文基于稀疏表示的分類思想，以及將數(shù)據(jù)投影到高維特征空間再完成表示過程可以提高不同類別數(shù)據(jù)可分性的效果，提出了基于核方法協(xié)同表示與絕對距離融合的分類方法。主要思想在于利用核函數(shù)完成數(shù)據(jù)的非線性映射后，在特征空間中用全部訓(xùn)練樣本表示待測樣本，利用表示向量來計算重構(gòu)殘差值和各類樣本對待測樣本的表示向量，進(jìn)而確定待測樣本的分類標(biāo)簽。

1 相關(guān)工作

文獻(xiàn)[7]中對Y進(jìn)行稀疏編碼表示:y≈θα,其中θ是一個過完備的字典，α是一個稀疏向量，且α的稀疏性由L1范數(shù)來表示，那么稀疏模型就可以表示為：

(α)=arg min ‖α‖1s.t. ‖y-Xα‖2≤ε。

(1)

假設(shè)有n個已知類別的訓(xùn)練樣本數(shù)據(jù)X,Xi∈Rd(d是特征的維數(shù))，n個樣本屬于不同的類別ωi{i=1,2,…,C}(C是類別的數(shù)量)，所有類別的樣本數(shù)量求和為n。當(dāng)有一個測試樣本數(shù)據(jù)出現(xiàn)時，使用不同類別數(shù)據(jù)通過范數(shù)L1正則化對測試數(shù)據(jù)稀疏程度進(jìn)行控制，稀疏表示模型表示為：

(2)

λ1是用于控制稀疏向量α的正則化參數(shù)，α可以通過多種算法完成計算，比如基追蹤(BP)算法[8],正交匹配追蹤(OMP)算法[9]等，計算出系數(shù)后再對各表示系數(shù)計算殘差r(y)：

r(SR)(y)=‖y-Xα(SR)‖2。

(3)

X可以從訓(xùn)練樣本中獲得，通過計算可知哪個類別的表示系數(shù)可以得到更小的重構(gòu)誤差，那么就可以確定待測像元類別。

為了利用數(shù)據(jù)中類別之間的協(xié)同關(guān)系，對SRC算法改進(jìn)的協(xié)同表示分類算法(collaborative representation classification，CRC)[10-12]被提出，文獻(xiàn)[13]中指出CRC這種基于協(xié)同表示的分類算法是強(qiáng)調(diào)所有的樣本共同表示單個像元，而不再是僅僅利用稀疏性。由于高光譜圖像的成像機(jī)制帶來的維數(shù)問題,在一定程度上給分類帶來挑戰(zhàn)，文獻(xiàn)[14]提出基于核方法投影數(shù)據(jù)的稀疏表示分類算法(kernel sparse representation classification,KSRC)，通過使用內(nèi)核技術(shù)優(yōu)化原算法，再使用獲得的稀疏表示向量來確定待測像素的類標(biāo)簽。

2 本文研究方法

2.1 協(xié)同表示正則化方法(CRT)

SRC算法用于高光譜圖像分類時強(qiáng)調(diào)了稀疏性對于分類的重要性，自動選擇去掉一些不包含信息的特征，達(dá)到減小誤差的目的。但是這種思想沒有充分利用圖像中不同類別像元之間的相似性，這種相似性有助于進(jìn)行分類。為了突出樣本之間的協(xié)同性質(zhì)，對稀疏表示算法進(jìn)行改進(jìn)就有了協(xié)同表示分類算法，假設(shè)X=[X1,X2,…,XC]∈Imxn，測試樣本Y∈Im，那么Y就可以被表示為：

y=a1x1+a2x2+…+anxn。

(4)

協(xié)同表示分類算法用所有的訓(xùn)練樣本來協(xié)同表示測試樣本，并使用正則化的最小二乘法,那么CRC[15]方法的模型可以表示為：

(5)

λ是用于控制向量α的正則化參數(shù)，使用范數(shù)L2對α進(jìn)行約束，可以使α的每個元素都很小接近于0，但和范數(shù)L1不同的是，不會令其為0，可以充分利用所有訓(xùn)練樣本的表示能力，也實(shí)現(xiàn)了對模型空間的限制，一定程度上避免了過擬合，提高模型的泛化能力，同時范數(shù)L2相比于范數(shù)L1更有助于處理矩陣求逆困難的問題，讓優(yōu)化求解的過程更加穩(wěn)定和快速。本文使用范數(shù)L2正則化項(xiàng)可以使最小二乘解更穩(wěn)定，同時比范數(shù)L1使用稀疏性效果更好。CRC算法的解析解表示為：

α(CRC)=(XTX+λI)-1XTy。

(6)

X可以從訓(xùn)練樣本中獲得，通過計算可知哪個類別的重構(gòu)殘差更小，那么就可以確定測試像素類別。殘差值的計算公式為：

(7)

(8)

其中Γy為正則化矩陣，它是一個對角線矩陣，對角線上的元素為所有的訓(xùn)練樣本數(shù)據(jù)和測試樣本數(shù)據(jù)的距離,Γy表示為：

(9)

其中X1，X2,…,Xn為訓(xùn)練樣本數(shù)據(jù)，如果某個距離值越小，那么說明相應(yīng)的數(shù)據(jù)類別和測試數(shù)據(jù)類別越接近。CRT算法的解析解表示為：

(10)

CRT判斷測試數(shù)據(jù)類別的方式與CRC相同，通過計算重構(gòu)誤差判斷測試數(shù)據(jù)類別。

2.2 核方法

核方法[16-18]的作用是可以創(chuàng)造出一個隱式非線性的映射機(jī)制，將在低維空間中線性不可分的點(diǎn)集映射到高維空間中完成線性可分的過程，非線性的隱射機(jī)制過程可以表達(dá)為：

y∈Rd→φ(y)=[φ1(y),…,φs(y)]∈Rs。

(11)

φ(y)由y通過高維特征向量隱射得到，且s遠(yuǎn)遠(yuǎn)大于d。如果將兩個點(diǎn)集隱射到高維空間中，那么倆映射向量的內(nèi)積就是原低維空間中兩點(diǎn)集之間的核函數(shù)，其核函數(shù)的可以表示為：

k(yi,yj)=φ(yi)Tφ(yj)。

(12)

常用的核函數(shù)有線性核函數(shù)，多項(xiàng)式核函數(shù)以及高斯核函數(shù)，在本文實(shí)驗(yàn)過程中使用的核函數(shù)為高斯核(gaussian kernel)函數(shù)，也被稱為徑向基核函數(shù)。這種核函數(shù)對數(shù)據(jù)中的噪音有著良好的抗干擾能力，在實(shí)驗(yàn)中經(jīng)過多次嘗試找到最佳的核參數(shù)可以使核函數(shù)有更好的性能。高斯核函數(shù)的數(shù)學(xué)形式表達(dá)如下：

(13)

通過這種非線性的映射機(jī)制，將原有訓(xùn)練樣本的所有數(shù)據(jù)映射到高維空間中進(jìn)行模型學(xué)習(xí)，即φ={φ(x1),φ(x2),…,φ(xn)}∈Rs×n, 測試樣本可以表示為Φ的線性組合為φ(y)=φα。

2.3 Abs_KCRT

本文提出了一種基于核方法協(xié)同表示與絕對距離融合的分類算法(Abs_KCRT)。首先利用核技術(shù)完成數(shù)據(jù)投影，用特征空間中所有訓(xùn)練樣本表示待測樣本，通過表示向量來計算待測樣本的重構(gòu)殘差向量，其次將不同類別內(nèi)所有樣本對待測樣本表示系數(shù)值絕對值求和作為影響因子，再與基于表示的算法計算得到的殘差予以不同權(quán)重進(jìn)行融合，最后將融合后的殘差值作為新的分類依據(jù)，完成高光譜圖像分類。其中KCRT的求解模型可以表述為：

(14)

其中ΓΦ(y)是新的吉洪諾夫?qū)蔷€矩陣，對角線上的元素為所有映射到高維空間的后訓(xùn)練樣本數(shù)據(jù)和測試樣本數(shù)據(jù)的距離，ΓΦ(y)表示為：

(15)

其中φ(y)與φ(Xn)是y與x映射到高維空間的結(jié)果，‖φ(y)-φ(xi)‖2=[k(y,y)+k(xi,xi)-2k(y,xi)]1/2,i=1,2,…,n。解得KCRT的封閉解為：

(16)

其中K=φTφ∈Rn×n是Kij=k(xi,xj)的格拉姆矩陣。

協(xié)同表示是用所有類的樣本來完成對測試樣本線性組合的過程，而不再是利用稀疏性，訓(xùn)練樣本各類別表示系數(shù)向量元素絕對值求和，表現(xiàn)了在所有類別中該類對測試樣本表示的總貢獻(xiàn)度，由此來表達(dá)測試樣本與每個類別的相似度，值越大那么可以認(rèn)為測試樣本與相應(yīng)的類中樣本相似度越高,訓(xùn)練樣本表示向量絕對值求和分類模型(ABS)表述為：

Class(y)ABS=arg max{di}，di=∑|ai|。

(17)

算法充分利用了不同類別樣本對測試樣本的協(xié)同表示，不僅利用測試樣本的重構(gòu)誤差來判斷圖像類別，以及不同類別樣本對測試樣本線性表示時的貢獻(xiàn)度來判斷。實(shí)驗(yàn)證明這兩種判斷依據(jù)均可以作為分類依據(jù)。前者通過得到各類協(xié)同表示系數(shù)后計算重構(gòu)誤差，由最小殘差對應(yīng)的類別來確定測試樣本類別，后者先計算每個類別內(nèi)所有樣本對測試樣本的表示系數(shù)向量元素取絕對值再求和，由于某一類別各樣本表示系數(shù)絕對值求和的值越大和訓(xùn)練樣本重構(gòu)殘差的值越小均表示測試樣本與該類別相似度越高，所以為了更好的提升圖像信息的分類效果，本文將每個類別所有樣本表示系數(shù)取絕對值求和再予以不同權(quán)重作為重構(gòu)誤差的影響因子，使兩種分類依據(jù)同時起作用，算法分類依據(jù)模型表述為：

RAbs_KCRT=α(KCRT)-kdi。

(18)

新得到的殘差不僅僅包括測試樣本的重構(gòu)誤差還包括各樣本所有訓(xùn)練數(shù)據(jù)對測試樣本類別投票值，k的值不同則影響因子的影響程度也不同。最終通過Abs_KCRT計算出如下所示的重構(gòu)殘差與絕對距離融合值來分類測試像元y為：

(19)

對CRT框架改進(jìn)的基于核函數(shù)協(xié)同表示與絕對距離融合分類算法的具體流程總結(jié)如算法1所示：

Step1:選擇核函數(shù),通過實(shí)驗(yàn)確定合適的核參數(shù)。

Step5:返回下一個待測像元，完成計算分類過程。

3 結(jié)果和討論

為了驗(yàn)證本文算法的有效性，實(shí)驗(yàn)采用CRC,KCRT,ABS, SVM以及本文的算法Abs_KCRT對兩種不同的高光譜數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)分析和對比，為更好比較，支持向量機(jī)實(shí)驗(yàn)中采用與本文算法中相同的核函數(shù)，即徑向基函數(shù)(RBF)，輸入灰度共生矩陣的紋理特征向量包括相關(guān)性，對比度，同質(zhì)性和二階矩。在實(shí)驗(yàn)前對數(shù)據(jù)進(jìn)行平滑處理，對于每一類有標(biāo)記的樣本，實(shí)驗(yàn)過程每次選取10 %、20 %、30 %作為訓(xùn)練樣本，剩下的樣本作為測試樣本，每組實(shí)驗(yàn)均運(yùn)行10次對結(jié)果取平均值。實(shí)驗(yàn)使用了三種評價準(zhǔn)則：

① OA,總體精度，即正確分類樣本數(shù)比總樣本數(shù);

② AA，平均精度，即每類分類結(jié)果的平均值;

③ Kappa，一致性檢驗(yàn)。

在本文中提出的基于核方法與絕對距離融合的協(xié)同表示算法需要通過多次實(shí)驗(yàn)完成調(diào)參過程以獲得最佳超參數(shù)。第一個是算法中正則化項(xiàng)的控制參數(shù)λ，λ值大小控制著協(xié)同表示中正則化項(xiàng)的重要程度，良好的正則化項(xiàng)可以預(yù)防出現(xiàn)過擬合現(xiàn)象。第二個是協(xié)同表示計算殘差與絕對值距離向量的融合系數(shù)k，其值大小控制著影響因子對表示殘差的作用程度，不同參數(shù)下精度統(tǒng)計曲線見圖1。通過多次實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)λ值取0.001時，正則化項(xiàng)的作用最好；隨著k值的增大，分類精度先增大再減小，在k取0.1時，分類效果最佳。

(a)不同融合系數(shù)下本文算法精度統(tǒng)計曲線

(b)不同正則化系數(shù)下各算法精度統(tǒng)計曲線

圖2 Indian Pines訓(xùn)練集數(shù)量對各算法分類精度影響

3.1 Indian Pines數(shù)據(jù)集實(shí)驗(yàn)分析

第一個用于實(shí)驗(yàn)的高光譜數(shù)據(jù)集是 Indian Pines，該高光譜影像是由AVIRIS傳感器采集而成的印度松樹測試地，該影像具有145×145個像元，包含了16種類別的地物，空間分辨率為20 m，并擁有220個波段，覆蓋了波長從0.4～2.5 μm的光譜信息。除去20個含噪聲波段，將剩余的200個波段作為研究對象。實(shí)驗(yàn)中的參數(shù)通過交叉驗(yàn)證得到λ=0.001，k=0.1。表1列出了Indian Pines數(shù)據(jù)集中樣本類別及其數(shù)目，表2為Indian Pines數(shù)據(jù)集5種算法的分類結(jié)果。圖2為Indian Pines中不同訓(xùn)練集數(shù)量對分類精度的影響。

表1 Indian Pines數(shù)據(jù)集中樣本類別及其數(shù)目

表2 Indian Pines數(shù)據(jù)集上的分類精度

由表2中在Indian Pines上使用本文提出算法和一些對比算法的分類效果可知，傳統(tǒng)的協(xié)同表示方法對圖像中地物分類時，精度較低且魯棒性不佳，本文算法在總體分類精度、平均分類精度和Kappa系數(shù)均有所提高，與SVM方法相比，分別提高了9.46 %、10.82 %、11.28 %。與KCRT方法相比，分別提高了14.23 %、15.08 %、16.11 %，特別在(1-Atfalfa)、(4-Corn)、(15-Bldg-grass-tree-drivers)這三類精度較低的地物類別分類得到了較為顯著的提升，分類精度提高了18.79 %、22.62 %、34.58 %，實(shí)驗(yàn)結(jié)果說明本文方法對易分類錯誤的地物具有較好的分類效果，其良好的魯棒性可以有效提升總體分類精度。

3.2 Pavia University數(shù)據(jù)集實(shí)驗(yàn)分析

第二個用于實(shí)驗(yàn)的高光譜數(shù)據(jù)集是Pavia University，該高光譜影像是由ROSIS于2003年采集的意大利帕維亞大學(xué)的場景，圖像有610×340個像元，包含了9種類別的地物，空間分別率為1.3 m,包含了115個光譜波段,去除12個噪聲波段，將剩余的103個波段作為研究對象。表3列出了該數(shù)據(jù)集內(nèi)9個類別對應(yīng)名稱及實(shí)驗(yàn)中使用的測試樣本和訓(xùn)練樣本數(shù)量，圖3為Pavia University訓(xùn)練集不同數(shù)量對分類精度影響，表4為Pavia University數(shù)據(jù)集4種算法的分類結(jié)果。

圖3 Pavia University訓(xùn)練集數(shù)量對各算法分類精度影響

表3 Pavia University中樣本類別及其數(shù)目

由表4中在Pavia University上使用本文算法和一些對比算法的分類效果可以看出,在絕大多數(shù)類別中，本文提出算法較其他算法在總體分類精度和平均分類精度上有一定的提高。但是需要注意的是Pavia University的數(shù)據(jù)集較大，且包含很多大小不均勻且復(fù)雜的區(qū)域結(jié)構(gòu)，基于表示的算法實(shí)現(xiàn)較慢，所以在實(shí)驗(yàn)中協(xié)同表示的時間較長。通過在帕維亞大學(xué)高光譜實(shí)驗(yàn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可以看出，本文算法在總體分類精度、平均分類精度和Kappa系數(shù)均有所提高。與SVM方法相比，分別提高了8.07 %、11.26 %、11 %，與KCRT方法相比，分別提高了12.12 %、13.65 %、12.59 %，特別在(3-Gravel)、(6-Bare soil)、(7-Bitumen )這三類精度較低的地物類別得到了較大改善，單類別分類精度提高了22.2 %、26.41 %、22.62 %。

圖4為四種基于表示方法分類時間對比，為了方便比較，將CRC算法分類時間設(shè)為1，CRC算法在Indian Pines數(shù)據(jù)集上分類時間為18.48 s，在Pavia University數(shù)據(jù)集上分類時間為70.54 s。使用了核方法完成非線性映射再完成分類，算法的時間復(fù)雜度有一定程度的增加，但是Abs_KCRT算法在兩種經(jīng)典高光譜圖像數(shù)據(jù)集上均取得了較為明顯的分類精度提升。說明本文方法對協(xié)同表示方法采用核方法和絕對距離融合改進(jìn)的策略實(shí)現(xiàn)了提升總體分類精度的目標(biāo)，并在兩組實(shí)驗(yàn)中都取得了優(yōu)于SVM和傳統(tǒng)算法CRC的總體分類精度，穩(wěn)定處于最佳表現(xiàn)狀態(tài)。

表4 Pavia University數(shù)據(jù)集上的分類精度

(a)Indian Pines數(shù)據(jù)集上分類時間比較

(b)Pavia University數(shù)據(jù)集上分類時間比較

圖4 4種基于表示方法分類時間對比

Fig.4 Comparison of classification speeds of four method based on representation

4 結(jié)語

本文提出一種基于核方法協(xié)同表示融合的分類算法來完成高光譜圖像中地物分類，對傳統(tǒng)協(xié)同表示方法進(jìn)行改進(jìn)的創(chuàng)新點(diǎn)通過兩種高光譜數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，通過多次實(shí)驗(yàn)仿真得到良好正則化系數(shù)，核參數(shù)和融合參數(shù)的值，取得較好分類效果。實(shí)驗(yàn)結(jié)果表明：①利用核方法完成數(shù)據(jù)投影，以及增加訓(xùn)練樣本規(guī)模，會使得完成分類的速度有所下降，但可以帶來明顯的分類精度提升；②本文算法在高光譜圖像數(shù)據(jù)集不同種類地物上的分類精度提升有所不同，但均優(yōu)于傳統(tǒng)的協(xié)同表示方法及SVM的分類結(jié)果。后續(xù)研究工作需通過優(yōu)化表示的過程，加入矩陣低秩策略對數(shù)據(jù)處理加以改進(jìn)，在提高算法分類效果的同時降低分類過程的時間復(fù)雜度。