吳 少 喬

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院， 哈爾濱 150001)

高光譜成像是遙感技術(shù)中的一項重要技術(shù)，可收集可見光到近紅外波段的電磁光譜.高光譜成像傳感器通常提供來自地球表面同一區(qū)域的數(shù)百個窄光譜帶.高光譜圖像由諸多一維多譜帶像元組成，每個像元對應(yīng)于特定波長的光譜反射率.高光譜圖像分類通過區(qū)分細(xì)微光譜差異以區(qū)分不同類別像元，在許多領(lǐng)域得到了廣泛的應(yīng)用[1-5].

高光譜遙感可以用于城市規(guī)劃，對于真彩色的圖像，人眼難以分辨真草坪和人造塑料草坪，但對于高光譜圖像及分類技術(shù)卻可以通過特征分析區(qū)分開，因為在光譜特征上，真草皮和人造草坪具有本質(zhì)性差異，同理，在軍事領(lǐng)域，戰(zhàn)場上真實地物和偽裝地物目標(biāo)也可以獲得很好的區(qū)分，自然地塊、陸軍行進(jìn)擾動的地塊之間的差異也可以利用高光譜圖像技術(shù)提取出來，從而對敵軍路線進(jìn)行還原.

在文獻(xiàn)[6]中，Zhao等人中首次在高光譜圖像分類中提出基于框的卷積神經(jīng)網(wǎng)絡(luò)，輸入像素及其周圍的正方形區(qū)域作為訓(xùn)練樣本，標(biāo)簽作為其輸出.該模型學(xué)習(xí)獲得識別中心像素的能力，然后在測試集上利用這種能力實現(xiàn)像元分類.卷積神經(jīng)網(wǎng)絡(luò)自然地利用了空間信息，實現(xiàn)了空間和光譜信息的組合.文獻(xiàn)[7]中，Chen等人提出了基于三種特征提取結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，用于獲取高光譜圖像的多種特征，并首次提出了將3DCNN應(yīng)用在高光譜圖像分類中.

人工智能的突破已經(jīng)融入到高光譜圖像分類領(lǐng)域.文獻(xiàn)[8]中，Zhong等人首先利用3DCNN的原始波段信息，然后提取空間特征，在此過程中使用殘差網(wǎng)絡(luò)[9]來防止梯度的消失，保持模型的深度.文獻(xiàn)[10]中，Wang等人引入了密集卷積網(wǎng)絡(luò)[11](DenseNet)的快速密集譜空間卷積網(wǎng)絡(luò).文獻(xiàn)[12]中，受卷積塊注意模塊[13]的啟發(fā)，Ma等人提出了一種雙分支多注意機(jī)制網(wǎng)絡(luò).文獻(xiàn)[14]中，Li等人提出讓光譜分支和空間分支分別捕獲光譜和空間特征，然后將兩個分支的輸出連接起來的網(wǎng)絡(luò).

文獻(xiàn)[15]中，Chen等人提出了一種卷積神經(jīng)網(wǎng)絡(luò)的自動設(shè)計方法，該方法具有搜索過程和正則化技術(shù)cutout.文獻(xiàn)[16]中，Mou等人提出了光譜注意機(jī)制，利用全局卷積得到的門限來選擇有效波段，抑制信息量較小的波段.

卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在高光譜圖像分類是目前高光譜圖像分類的主流研究方向之一，各種在深度學(xué)習(xí)中取得有效的方法、模塊、構(gòu)建網(wǎng)絡(luò)方式不斷地應(yīng)用在高光譜圖像分類以期望在盡可能少的訓(xùn)練樣本下取得盡可能高的識別精度.在卷積神經(jīng)網(wǎng)絡(luò)中在高光譜圖像中的多項模型優(yōu)化研究中，可以發(fā)現(xiàn)，除了訓(xùn)練集，另外一部分有標(biāo)簽樣本同樣參與了模型訓(xùn)練，一般的思路是利用早停訓(xùn)練策略，這部分有標(biāo)簽樣本被稱作驗證集，模型每更新一次同時計算驗證集輸出值與真實標(biāo)簽之間的損失，記為驗證集損失，當(dāng)驗證集損失在若干周期次迭代下不再下降時，提前停止訓(xùn)練，取驗證集損失的全局最小值對應(yīng)的權(quán)重作為最終輸出的權(quán)重，模型相當(dāng)于在驗證集損失取得全局最小值時訓(xùn)練完畢.

基于驗證集損失的早停訓(xùn)練策略使用了額外的有標(biāo)簽樣本，同時在實驗中也可以發(fā)現(xiàn)，這種訓(xùn)練策略會帶來額外的訓(xùn)練過程中產(chǎn)生的誤差.訓(xùn)練誤差表達(dá)的意思是對于同樣的訓(xùn)練環(huán)境，包括訓(xùn)練集、模型、初始權(quán)重、訓(xùn)練優(yōu)化器、超參數(shù)，在這些不變條件并重復(fù)訓(xùn)練下，實驗結(jié)果有差別，經(jīng)過實驗，可以發(fā)現(xiàn)重復(fù)訓(xùn)練下有些實驗的識別精度較大地偏離這些重復(fù)訓(xùn)練結(jié)果的平均識別精度.

這項研究提出了一種新的訓(xùn)練策略以替代基于驗證集損失的訓(xùn)練策略，這種訓(xùn)練策略相比于目前的訓(xùn)練策略，不需要驗證集，可以節(jié)省驗證集樣本的標(biāo)簽成本，在對比實驗中，僅使用了一半的有標(biāo)簽樣本，實現(xiàn)了更高的多次重復(fù)實現(xiàn)條件下的平均識別精度.

1 改進(jìn)的訓(xùn)練策略及對比實驗

1.1 改進(jìn)的訓(xùn)練策略與早停策略的對比

此研究提出了基于訓(xùn)練集損失的訓(xùn)練策略，不使用驗證集，僅使用訓(xùn)練集，將訓(xùn)練周期后半段中訓(xùn)練集損失取得最小時的模型作為最終的參加測試的模型.

算法的工程實現(xiàn)為：假如訓(xùn)練周期為200，當(dāng)訓(xùn)練進(jìn)行到100周期時，保存此時的訓(xùn)練集損失為最小損失以及此時的模型權(quán)重，此后，只要訓(xùn)練集損失小于這個值，用此時的訓(xùn)練集損失代替最小損失同時保存模型權(quán)重，訓(xùn)練進(jìn)行到200周期結(jié)束時，讀取最小損失對應(yīng)的權(quán)重參與測試.

為了驗證方法的有效性，使用了SSRN[8]、FDSSC[10]、DBMA[12]、DBDA[14]模型進(jìn)行對比實驗，這些模型較深，參數(shù)較多.這些模型使用了很多有效方法，比如殘差網(wǎng)絡(luò)[9]、稠密連接網(wǎng)絡(luò)[11](DenseNet)、批歸一化[17]以及注意力機(jī)制，或具有代表性或最近提出.這些模型源碼、改進(jìn)訓(xùn)練策略代碼可以公開獲取.

實驗中使用了高光譜公開標(biāo)準(zhǔn)集，分別是Indian Pines數(shù)據(jù)集、Pavia University數(shù)據(jù)集、Salinas Valley數(shù)據(jù)集，分別簡稱為IP數(shù)據(jù)集、PU數(shù)據(jù)集、SV數(shù)據(jù)集.這些數(shù)據(jù)集在網(wǎng)站上公開獲取，使用的版本為修正后(Corrected)版本，比如在IP數(shù)據(jù)集上，去除了覆蓋吸水區(qū)域的20條譜帶.

使用的評價指標(biāo)有OA，AA以及Kappa系數(shù)，其中OA評價識別正確像元占所有像元的比重，AA是每類像元識別正確率的平均，Kappa系數(shù)反映了地面真實性與分類結(jié)果的一致性.

隨機(jī)生成10個隨機(jī)種子用于隨機(jī)生成訓(xùn)練集與驗證集.對于SSRN、FDSSC，窗大小為7，DBMA、DBDA窗大小為9.對于SSRN、FDSSC、DBMA，批量大小為16，對于DBDA，批量大小為24，優(yōu)化器為Adam，學(xué)習(xí)率為0.000 5.使用基于驗證集損失的早停策略，早停周期為30，即當(dāng)模型在120周期訓(xùn)練完畢時，可以發(fā)現(xiàn)在90周期，驗證集的損失取得全局最小值，最終的模型取90周期時的模型；使用改進(jìn)的訓(xùn)練策略.

在一個數(shù)據(jù)集下，不同模型在早停策略下的訓(xùn)練集、驗證集、測試集完全一致，改進(jìn)的訓(xùn)練策略僅使用訓(xùn)練集，與早停策略下的訓(xùn)練集，測試集完全一致，測試集不使用但劃分出來，與早停策略一致，但不起任何作用，不同模型在改進(jìn)訓(xùn)練策略下訓(xùn)練集、測試集完全一致.表1～3為不同數(shù)據(jù)下訓(xùn)練集、驗證集、測試集的數(shù)目.

表1 IP數(shù)據(jù)集上使用的訓(xùn)練集、驗證集、測試集數(shù)目

10Soybean-notill972292991411Soybean-mintill2 45573732 30912Soybean-clean593171755913Wheat2056619314Woods1 26537371 19115Buildings-Grass-Trees-Drives386111136416Stone-Steel-Towers933387Total10 2493073079 635

表2 PU數(shù)據(jù)集上使用的訓(xùn)練集、驗證集、測試集數(shù)目

表3 SV數(shù)據(jù)集上使用的訓(xùn)練集、驗證集、測試集數(shù)目

實驗設(shè)置如下：在IP、PU、SV數(shù)據(jù)集下，使用SSRN、FDSSC、DBMA、DBDA模型，使用兩種訓(xùn)練策略，其中早停策略中的早停周期為30，提出的訓(xùn)練策略在不使用驗證集，也就是僅使用與前文相比一半的有標(biāo)簽樣本條件下進(jìn)行實驗，兩種訓(xùn)練策略在一致的測試集上測試.見表4～6.

表4 在IP數(shù)據(jù)集使用兩種訓(xùn)練策略隨機(jī)訓(xùn)練集選取方式重復(fù)10次訓(xùn)練實驗結(jié)果

在文獻(xiàn)[14]中，Li等人提出了DBDA模型，在三個數(shù)據(jù)集上，文獻(xiàn)中僅列出了一次實驗的結(jié)果，其結(jié)果如表7所示，其中參照了文獻(xiàn)中數(shù)據(jù)集各類數(shù)目，使用了相同的訓(xùn)練環(huán)境，在更加客觀的10次不同隨機(jī)訓(xùn)練集下對本文中的識別精度進(jìn)行了復(fù)現(xiàn).文獻(xiàn)中DBDA模型，OA值的實驗結(jié)果為95.38%，沒有標(biāo)準(zhǔn)差，僅為一次實驗結(jié)果，在改進(jìn)訓(xùn)練策略下，10次隨機(jī)訓(xùn)練集的平均OA為93.44%，最大OA值為95.59%，最大OA值符合一次實驗表現(xiàn)，但本文中AA值為96.47%，隨機(jī)10次實驗結(jié)果無一接近，本文中的訓(xùn)練集驗證集無法復(fù)現(xiàn)是AA值無法復(fù)現(xiàn)的原因，完全相同訓(xùn)練環(huán)境下更加客觀的10次隨機(jī)訓(xùn)練集都沒有取得接近的結(jié)果，可能僅有還原作者訓(xùn)練時的訓(xùn)練集于驗證集才可能出現(xiàn)對應(yīng)的結(jié)果.此外，對于SSRN模型，10次隨機(jī)訓(xùn)練集無一AA值降到79.40%.說明訓(xùn)練集的選取對識別精度也存在較大的影響.

回到改進(jìn)的訓(xùn)練策略，使用新的訓(xùn)練策略后，DBDA模型10次隨機(jī)訓(xùn)練集平均OA從93.44%提升到了95.38%，其中93.44%就是文獻(xiàn)中實驗環(huán)境還原后10次隨機(jī)訓(xùn)練集的平均OA，使用新的訓(xùn)練策略后的平均OA幾乎成為舊策略下的最大OA.

新的訓(xùn)練策略下有標(biāo)記樣本數(shù)目僅為舊策略的一半，307個有標(biāo)記樣本在IP數(shù)據(jù)集以及DBDA模型上實現(xiàn)了10次不同訓(xùn)練集95.38%的平均OA值.

在多個模型下，新的訓(xùn)練策略和提出的樣本預(yù)選方法普遍展現(xiàn)了其優(yōu)勢，在IP數(shù)據(jù)集下的實驗表格中，識別精度的提升以及標(biāo)準(zhǔn)差的降低都用黑體進(jìn)行標(biāo)注.表4中，在隨機(jī)訓(xùn)練集下，兩種訓(xùn)練策略共計24個評價指標(biāo)(OA，AA，Kappa系數(shù)及其標(biāo)準(zhǔn)差)中獲得提升的有17個，對于FDSSC模型以及DBDA模型，評價指標(biāo)都獲得了提升.表5中，在PU數(shù)據(jù)集下，兩種訓(xùn)練策略共計24個評價指標(biāo)中獲得提升的有23個.表6中，在SV數(shù)據(jù)集下，兩種訓(xùn)練策略共計24個評價指標(biāo)中獲得提升的有19個.就OA平均值而言，4個模型在4個數(shù)據(jù)集上都獲得了提升.

表5 在PU數(shù)據(jù)集使用兩種訓(xùn)練策略隨機(jī)訓(xùn)練集選取方式重復(fù)10次訓(xùn)練實驗結(jié)果

表6 在SV數(shù)據(jù)集使用兩種訓(xùn)練策略隨機(jī)訓(xùn)練集選取方式重復(fù)10次訓(xùn)練實驗結(jié)果

表7 文獻(xiàn)中展示的四個模型在IP數(shù)據(jù)集上同樣實驗環(huán)境下的識別精度

1.2 早停策略訓(xùn)練誤差驗證

接下來通過實驗展示基于驗證集損失早停策略額外產(chǎn)生的訓(xùn)練誤差.在上述實驗過程中，先隨機(jī)生成隨機(jī)整數(shù)，再將這10個隨機(jī)整數(shù)作為隨機(jī)種子生成隨機(jī)訓(xùn)練集以及驗證集，余下作為測試集.關(guān)于隨機(jī)種子的描述為通過確定隨機(jī)種子讓隨機(jī)的結(jié)果確定化.于是對于10次不同隨機(jī)訓(xùn)練集的結(jié)果，記錄取得最小總體識別精度訓(xùn)練集的隨機(jī)種子，再固定隨機(jī)種子為這個整數(shù)，在相同實驗條件下重復(fù)10次訓(xùn)練，記錄平均AA、OA、Kappa.

表8記錄了SV數(shù)據(jù)集早停策略下OA最小值對應(yīng)訓(xùn)練集、驗證集重復(fù)10次訓(xùn)練結(jié)果，可以發(fā)現(xiàn)最小的那次OA值對應(yīng)的一次結(jié)果全部小于同樣環(huán)境下10次重復(fù)訓(xùn)練結(jié)果， 要知道所謂的同樣環(huán)境包含訓(xùn)練集驗證集，平均結(jié)果能更加真實地反映這組訓(xùn)練集驗證集下的識別精度，而取得的最小OA值那一次實驗是訓(xùn)練誤差較大導(dǎo)致.其中比如FDSSC，最小OA值為91.78%，平均OA值及其標(biāo)準(zhǔn)差為96.06%以及1.19%，最小OA值嚴(yán)重偏離了平均值.表4～6中，在12次對比實驗中，使用新訓(xùn)練策略下的最小OA值有10次超過了早停策略下的最小OA值，訓(xùn)練誤差來源于兩個部分，訓(xùn)練模型本身的誤差，來自于驗證集選取的誤差，新訓(xùn)練策略由于沒有使用驗證集，訓(xùn)練誤差的降低使得最小OA值在新訓(xùn)練策略上多次領(lǐng)先，但無論對于那種誤差來源，都存在識別精度大幅度下降的現(xiàn)象，在表6中SSRN在新訓(xùn)練策略下的最小OA值僅為87.95%，遠(yuǎn)低于10次平均93.45%，在表8中，DBMA模型在早停策略訓(xùn)練方式下OA的標(biāo)準(zhǔn)差為3.01%，說明其中一次實驗也出現(xiàn)了識別精度大幅度下降的結(jié)果.

表8 SV數(shù)據(jù)集上使用早停策略O(shè)A最小值訓(xùn)練集重復(fù)10次訓(xùn)練結(jié)果

當(dāng)使用早停策略取得較小識別精度時，實驗過程存在三種情況，驗證集損失非常小的情況下驗證集總體正確率卻很低；驗證集損失非常小，驗證集總體正確率也很高，但測試集識別精度依然很低；模型過早地結(jié)束訓(xùn)練，驗證集損失非常大.對于第一點，其可能是單獨基于驗證集損失而不是總體考量驗證集損失以及驗證集正確率造成的，也可以發(fā)現(xiàn)，在訓(xùn)練集上會同樣出現(xiàn)損失小而總體正確率低的現(xiàn)象；對于第二點，其可能是所劃分出來的驗證集相對于更大體量的測試集來說不具備代表性造成的；對于第三點，使用更大的早停結(jié)束周期可以解決問題，但也意味著將花更多的時間進(jìn)行訓(xùn)練.

1.3 方法有效性探究

上述早停訓(xùn)練策略是在早停周期為30的基礎(chǔ)上訓(xùn)練下，下面改變早停周期并觀察結(jié)果.

在IP數(shù)據(jù)集DBDA模型上，使用10組隨機(jī)訓(xùn)練集、驗證集，分別使用早停周期為40、50、60進(jìn)行訓(xùn)練，10組訓(xùn)練集、驗證集保持不變，其他條件與前述相同.實驗結(jié)果記錄見表9，其中，早停數(shù)代表早停周期，周期代表10次重復(fù)訓(xùn)練的平均周期，次數(shù)代表10次中達(dá)到訓(xùn)練周期上限200而結(jié)束訓(xùn)練的次數(shù).

從表9中可以看出隨著早停周期的增長，模型的識別精度及其穩(wěn)定性獲得了提升，在早停周期較小時，早停策略更大概率過早結(jié)束訓(xùn)練，此時模型是欠擬合的.早停周期越高，訓(xùn)練周期越長，早停數(shù)40相當(dāng)于在早停數(shù)為30結(jié)束訓(xùn)練后繼續(xù)訓(xùn)練，如果接下來10周期驗證集損失沒有取得新的全局最小值，訓(xùn)練完畢，如果出現(xiàn)了，需要在這個最小值之后40周期沒有出現(xiàn)更小驗證集損失而訓(xùn)練完畢.

表9 DBDA模型在IP數(shù)據(jù)集上更改早停周期的實驗結(jié)果

早停策略的目的是防止模型訓(xùn)練出現(xiàn)過擬合，而目前的情況是，隨著繼續(xù)訓(xùn)練，模型沒有因為過擬合而出現(xiàn)識別精度的下降，反而提升了，還沒有達(dá)到過擬合的程度，隨著早停周期的提升，模型越來越多次數(shù)達(dá)到模型訓(xùn)練周期上限而停止訓(xùn)練，當(dāng)早停周期為60時，平均訓(xùn)練周期已經(jīng)十分接近于200周期訓(xùn)練上限，可以猜想隨著早停周期的繼續(xù)上升，當(dāng)每次都達(dá)到訓(xùn)練周期上限時，再提升早停周期時對模型的訓(xùn)練不再產(chǎn)生影響，此時早停策略已經(jīng)“名存實亡”.

早停周期為60時，10次實驗平均在191周期結(jié)束訓(xùn)練，在新的訓(xùn)練策略下，模型固定在200周期訓(xùn)練完畢，兩者訓(xùn)練周期比較接近，但早停策略下，每個周期訓(xùn)練完畢額外需要將驗證集正向通過模型以計算驗證集損失，總體時間相比差別不大.在早停策略下，早停周期為60時早停訓(xùn)練策略取得了最好結(jié)果，在同樣訓(xùn)練集下，新訓(xùn)練策略O(shè)A平均值為95.38%，高于早停訓(xùn)練策略下94.84%最好結(jié)果，此外新訓(xùn)練策略僅使用一半有標(biāo)簽樣本.總體來說，從訓(xùn)練時間、使用有標(biāo)記樣本、識別精度等方面，新訓(xùn)練策略都展現(xiàn)了其有效性.新訓(xùn)練策略的提升一部分來源于早停訓(xùn)練策略的欠擬合，一部分來源于其舍棄了驗證集.下一步使用新訓(xùn)練策略，將訓(xùn)練周期上限提高.

早停周期為60時，模型訓(xùn)練以及十分接近周期上限，識別精度穩(wěn)步上升，但仍然無法確定期間有沒有過擬合，為了進(jìn)一步驗證模型的過擬合風(fēng)險，將模型訓(xùn)練進(jìn)一步擬合到訓(xùn)練集上.早停策略具有防止過擬合的作用，實驗改用改進(jìn)的訓(xùn)練策略：在原本實驗環(huán)境下，在IP數(shù)據(jù)集DBDA模型上，將訓(xùn)練周期上限分別提升到300以及400進(jìn)行實驗，使用新訓(xùn)練策略實驗重復(fù)10次，在三個訓(xùn)練周期上限下使用的10組不同隨機(jī)訓(xùn)練集與上述實驗完全一致，對于周期上限為300，訓(xùn)練完畢的模型存在于150～300周期，周期為400時同理.表10記錄了實驗結(jié)果.

表10 DBDA模型在IP數(shù)據(jù)集上提高訓(xùn)練周期上限后使用新訓(xùn)練策略的實驗結(jié)果

從表10可以看出訓(xùn)練周期在200時，模型識別精度最佳，300周期和400周期訓(xùn)練結(jié)果相差無幾，而相對于200周期訓(xùn)練識別精度有少量下降，此外，300周期和400周期訓(xùn)練識別精度較200周期更加穩(wěn)定.

這個實驗以及改進(jìn)訓(xùn)練策略相對于早停策略的提升，說明在高光譜數(shù)據(jù)集上，使用早停策略防止模型過擬合是不必要的，因為模型過擬合風(fēng)險不大.

2 結(jié) 語

改進(jìn)的訓(xùn)練策略舍棄了驗證集，使用了一半的有標(biāo)記樣本，在作為對比的四個卷積網(wǎng)絡(luò)模型上實現(xiàn)了識別精度上的提升，其展現(xiàn)的有效性可以使提出的訓(xùn)練策略推廣到其他使用了驗證集的模型訓(xùn)練過程中，進(jìn)一步提升模型的識別精度.實驗過程中新訓(xùn)練策略的實驗結(jié)果以及對DBDA模型過擬合風(fēng)險的測試說明上述模型過擬合風(fēng)險較小，使用額外的有標(biāo)記樣本建立驗證集是不必要的.在較新的卷積網(wǎng)絡(luò)中，使用了新的深度學(xué)習(xí)方法，比如批歸一化以及稠密連接網(wǎng)絡(luò)，這些方法設(shè)計的初衷不是專一地用于防止模型過擬合，但在使用中卻證實具有避免模型過擬合的作用，早停策略的提出比這些方法早，為一種延續(xù)下來的方法，但具體模型在新方法的加持下是否還存在較大過擬合風(fēng)險沒有具體實驗過，這是所提出訓(xùn)練策略簡單有效的原因，此外，不使用驗證集而進(jìn)行訓(xùn)練在深度模型上具有一定的難度，這是提出訓(xùn)練策略的創(chuàng)新之處.如圖1所示，其展現(xiàn)FDSSC模型在PU數(shù)據(jù)集上一次實驗訓(xùn)練集正確率，驗證集正確率，訓(xùn)練集損失以及驗證集損失，可以發(fā)現(xiàn)驗證集損失的波動較訓(xùn)練集損失波動小，基于驗證集損失，而非基于訓(xùn)練集損失構(gòu)建一個訓(xùn)練策略較為容易，早停策略基于驗證集，其作為一個成熟有效的訓(xùn)練策略在訓(xùn)練集損失波動巨大的情況下被自然地使用了.總體來說，這項研究在高光譜圖像分類下，驗證了在一些或新或代表性地模型上過擬合風(fēng)險較小的事實，并提出了一項不基于驗證集的訓(xùn)練策略，發(fā)現(xiàn)提出的訓(xùn)練策略在識別精度上具有較大的提升，且伴隨的訓(xùn)練誤差較小.

圖1 FDSSC模型在PU數(shù)據(jù)集上一次實驗過程