李忠偉，張 浩，王雷全，任廣波，崔行帥

（中國(guó)石油大學(xué)（華東）海洋與空間信息學(xué)院，山東 青島 266580）

1 引 言

高光譜傳感器（也稱(chēng)為成像光譜儀）能夠在幾個(gè)連續(xù)的窄波段收集地物的電磁光譜信息，生成具有上百個(gè)光譜波段的高光譜圖像（Hyperspectral Image，HSI）。與其他類(lèi)型的遙感圖像相比，高分辨率遙感圖像包含了地物豐富的紋理、形狀、結(jié)構(gòu)和鄰域關(guān)系等信息［1］，目前成功應(yīng)用于地物分類(lèi)［2］，解混［3］，目標(biāo)檢測(cè)［4］和變化檢測(cè)［5］等。然而，由于傳感器響應(yīng)的不穩(wěn)定性和大氣等環(huán)境因素干擾，高光譜數(shù)據(jù)采集時(shí)會(huì)產(chǎn)生噪聲［6］，不僅降低了圖像質(zhì)量，也限制了后續(xù)圖像光譜信息解析的準(zhǔn)確度［7］。因此，研究高效且穩(wěn)定的HSI恢復(fù)方法，對(duì)后續(xù)數(shù)據(jù)分析和處理進(jìn)程具有重要意義［8-9］。

傳統(tǒng)的高光譜圖像去噪策略主要是基于二維圖像逐個(gè)譜段降低噪聲水平，如NLM方法［10］、非局部轉(zhuǎn)化方法［11］、小波變換方法［12］等，這些方法簡(jiǎn)單地將HSI作為灰度圖像的疊加。然而，HSI相鄰譜段高度相關(guān)，相隔很遠(yuǎn)的波段之間的特征差異很大，故逐帶方法會(huì)丟失譜域中的相似性和差異性，去噪結(jié)果往往會(huì)引入偽影或譜失真。為了獲得更好的去噪性能，必須考慮空間和頻譜相關(guān)性。譜帶之間的相關(guān)性通常被建模為低秩先驗(yàn)［13-14］，而空間域中的相關(guān)性通常被建模為紋理構(gòu)造先驗(yàn)，例如全變差正則化［15］，字典和稀疏表示［16］等，但是由于數(shù)學(xué)形式復(fù)雜，參數(shù)需要手工設(shè)置和調(diào)整，并且大量的數(shù)據(jù)先驗(yàn)會(huì)使計(jì)算復(fù)雜度較高［17］。

隨著深度學(xué)習(xí)的快速發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的HSI去噪算法備受關(guān)注［18］。由于卷積神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的特征擬合能力，基于離散余弦神經(jīng)網(wǎng)絡(luò)的方法較基于模型的灰度圖像方法，去噪效果更佳。張少磊等使用耦合狄利克雷自編碼器提取光譜特征和對(duì)應(yīng)的空間信息重建HSI，將卷積神經(jīng)網(wǎng)絡(luò)作為正則化豐度矩陣的先驗(yàn)，避免了傳統(tǒng)模型復(fù)雜的參數(shù)調(diào)整［19］。劉偉等使用三維卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)保留相鄰譜帶的相關(guān)性和在空間域提取更多的像素特征來(lái)獲得更好的去噪性能［20］。Zhang等提出引入簡(jiǎn)單梯度信息的SSGM網(wǎng)絡(luò)模型，用于多種HSI噪聲的去除［21］。Maffei提出一種單譜段去噪方法，多次下采樣降低參數(shù)量進(jìn)行去噪［22］。Yuan等提出了端到端的HSID神經(jīng)網(wǎng)絡(luò)模型，結(jié)合殘差策略直接從噪聲圖像中估計(jì)清晰圖像［23］?；谏疃葘W(xué)習(xí)的HSI去噪算法依賴(lài)于GPU的并行計(jì)算能力和神經(jīng)網(wǎng)絡(luò)的深度結(jié)構(gòu)先驗(yàn)建模能力，均取得了不錯(cuò)的去噪性能。然而，大多數(shù)去噪算法是單獨(dú)譜段去噪，HSI譜段之間的強(qiáng)光譜相關(guān)性利用不足。其次，神經(jīng)網(wǎng)絡(luò)特征提取過(guò)程中較小的樣本感受野嚴(yán)重降低了全局空間相關(guān)性，空間信息損失過(guò)多。另外，隨著深度模型網(wǎng)絡(luò)深度的增加，深層網(wǎng)絡(luò)特征損失嚴(yán)重，反而降低深度回歸任務(wù)的準(zhǔn)確度。事實(shí)上，因?yàn)镠SI數(shù)據(jù)的高維性，設(shè)計(jì)高效的特征提取網(wǎng)絡(luò)來(lái)充分利用空譜相關(guān)性是一項(xiàng)重要挑戰(zhàn)。

本文提出了一種融合空譜-梯度特征的深度神經(jīng)網(wǎng)絡(luò)恢復(fù)HSI，它包括空譜特征網(wǎng)絡(luò)和梯度特征網(wǎng)絡(luò)兩部分。其中，空譜網(wǎng)絡(luò)由級(jí)聯(lián)的多尺度注意力殘差塊組成，用于提取基礎(chǔ)噪聲的分布特征。梯度網(wǎng)絡(luò)由級(jí)聯(lián)的普通卷積層組成，用于噪聲紋理結(jié)構(gòu)的精細(xì)識(shí)別。考慮到網(wǎng)絡(luò)深度和廣度的平衡，加深網(wǎng)絡(luò)的同時(shí)引入密集跳躍連接和可分離卷積策略進(jìn)行優(yōu)化，匹配HSI高維譜信息進(jìn)行精準(zhǔn)噪聲擬合的同時(shí)，大幅減少中間層高特征維度映射過(guò)程中引起的過(guò)量參數(shù)，以提升網(wǎng)絡(luò)訓(xùn)練性能。最終，設(shè)計(jì)有效的方法融合兩個(gè)網(wǎng)絡(luò)特征提取結(jié)果生成精準(zhǔn)噪聲圖像，并用于恢復(fù)干凈圖像。

綜上，本文提出了一種端到端的空譜-梯度特征神經(jīng)網(wǎng)絡(luò)去噪方法。該方法以多譜段高光譜數(shù)據(jù)為輸入，級(jí)聯(lián)多尺度特征提取模塊提取到的空間和光譜信息為初始特征，以充分利用HSI中豐富的頻譜信息和每個(gè)頻帶的不同空間信息，經(jīng)過(guò)所提出的網(wǎng)絡(luò)直接恢復(fù)HSI。設(shè)計(jì)多尺度殘差注意力模塊（Multi-scale Attention Residual Block，MARB）提取圖像噪聲特征，并使用密集連接和可分離卷積策略平衡網(wǎng)絡(luò)的深度和廣度，以強(qiáng)化網(wǎng)絡(luò)特征提取性能。引入空譜梯度信息，利用空間梯度提取稀疏噪聲在水平和垂直方向上的獨(dú)特結(jié)構(gòu)方向性，利用譜梯度獲取譜段間附加互補(bǔ)信息以更好地降低噪聲。設(shè)計(jì)獨(dú)立的深度網(wǎng)絡(luò)獲取深層梯度特征，最終進(jìn)行空譜特征和梯度特征的有效融合。實(shí)驗(yàn)表明，所提出的模型不但對(duì)HSI有很好的去噪效果，對(duì)圖像內(nèi)部結(jié)構(gòu)的恢復(fù)上效果顯著，能夠很大程度上改善頻譜失真現(xiàn)象。

2 原 理

2.1 HSI退化模型

HSI是一組三維數(shù)據(jù)結(jié)構(gòu)h×w×c，其中h×w表示空間像素?cái)?shù)目，c表示光譜譜段數(shù)目。HSI退化模型可以表示為：

其中：X表示真值圖像，V=[v1，v2，...，vc]表示加性噪聲，Y表示噪聲觀(guān)察圖像。特別地，對(duì)于加性高斯白噪聲，v n=ξ(0，σ2)，n∈[0，c]，σ表示標(biāo)準(zhǔn)正態(tài)分布的標(biāo)準(zhǔn)差。由于退化模型移項(xiàng)表示為X=Y-V，故HSI去噪實(shí)際上就是去除已知觀(guān)察噪聲圖像Y的加性噪聲V，從而恢復(fù)無(wú)噪圖像X。

2.2 融合空譜-梯度特征的HSI去噪模型

本文提出的HSI去噪網(wǎng)絡(luò)如圖1所示。該網(wǎng)絡(luò)輸入尺寸為h×w×c的HSI噪聲數(shù)據(jù)，通過(guò)端到端的學(xué)習(xí)，直接恢復(fù)相同尺寸的去噪結(jié)果。為了充分提取隨機(jī)分布噪聲的特征信息，整個(gè)網(wǎng)絡(luò)分為并行的兩個(gè)階段。

在第一階段，訓(xùn)練了一個(gè)深度密集可分離卷積網(wǎng)絡(luò)，用來(lái)提取深層空譜噪聲特征信息。對(duì)輸入的通道數(shù)為K的噪聲數(shù)據(jù)，使用空間多尺度特征提取模塊（SM）提取多尺度空間特征信息，使用通道多尺度特征提取模塊（CM）提取多尺度光譜特征信息，特征提取模塊如圖2所示。然后，級(jí)聯(lián)特征提取結(jié)果，通過(guò)MARB進(jìn)一步提取HSI噪聲信息，該模塊如圖3所示。所提出的網(wǎng)絡(luò)引入多個(gè)MARB，級(jí)聯(lián)不同MARB輸出結(jié)果的同時(shí)控制維度，這種優(yōu)勢(shì)在于噪聲特征重復(fù)利用以保證豐富的信息流，進(jìn)而生成精簡(jiǎn)模型以有效減少參數(shù)數(shù)量?？紤]到噪聲分布特性，結(jié)合不同尺度的特征和特征注意模塊來(lái)捕捉各種噪聲成分是一種有效的方法。跳躍連接通常用在殘差鏈接塊中，因?yàn)樗鼈兛梢栽诙鄠€(gè)尺度上聚集特征并加速訓(xùn)練過(guò)程。因此，密集連接MARB能夠更好地捕捉具有不同尺度的噪聲結(jié)構(gòu)信息。

圖1 融合空譜-梯度特征的神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.1 Spatial spectral gradient neural network model

在第二階段，訓(xùn)練了一個(gè)梯度特征網(wǎng)絡(luò)，從不同的輸入噪聲數(shù)據(jù)中，分別提取K譜段的空間梯度信息和光譜梯度信息。SM模塊用于提取多尺度空間梯度特征信息，CM模塊用于提取多尺度光譜梯度特征信息，然后連接特征提取結(jié)果并輸入到一個(gè)十五層的深度卷積網(wǎng)絡(luò)模型中，這樣可以更好地表現(xiàn)噪聲在空間方向和光譜方向的梯度分布特性。整個(gè)梯度網(wǎng)絡(luò)中間層使用深度可分離卷積層，可以在維持特征提取層高通道數(shù)的同時(shí)大幅減少梯度網(wǎng)絡(luò)訓(xùn)練參數(shù)。梯度網(wǎng)絡(luò)特征提取結(jié)果與空譜網(wǎng)絡(luò)特征提取結(jié)果加權(quán)融合，并使用單個(gè)卷積層擬合噪聲特征分布。梯度網(wǎng)絡(luò)實(shí)際上對(duì)空譜特征提取網(wǎng)絡(luò)噪聲的擬合起補(bǔ)充作用，并且梯度信息可以提升網(wǎng)絡(luò)訓(xùn)練速度。最終，噪聲擬合結(jié)果V與輸入噪聲圖像Y相減獲得去噪結(jié)果X。

圖3 多尺度注意力殘差模塊Fig.3 Multi-scale attention residual block model

2.3 多尺度特征提取模塊

本文對(duì)空譜網(wǎng)絡(luò)和梯度網(wǎng)絡(luò)使用相同的多尺度特征提取模塊，如圖2所示。考慮噪聲空間分布的不均勻性，SM模塊共設(shè)計(jì)6種大小不同的卷積核提取空間方向不同大小感受野的空間特征信息。首先使用大小為3×3，5×5，7×7的普通卷積（Conv）提取小范圍空間信息。對(duì)于更大范圍的空間信息提取，考慮到卷積核尺寸增大引發(fā)的過(guò)量參數(shù)會(huì)阻礙訓(xùn)練過(guò)程，故分別用膨脹率d=4，5，6，大小為3×3的膨脹卷積（Dilated Conv），分別適應(yīng)9×9，11×11，13×13的空間范圍。采用批量標(biāo)準(zhǔn)化函數(shù)（Batch Normalization，BN）作為歸一化層，緩解多尺度特征提取級(jí)聯(lián)結(jié)果過(guò)高維度引發(fā)的顯存壓力。BN實(shí)際上就是求單個(gè)批次訓(xùn)練數(shù)據(jù)的均值和方差以進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化，它可以很好地避免淺層網(wǎng)絡(luò)梯度過(guò)小問(wèn)題以增加網(wǎng)絡(luò)的學(xué)習(xí)速率。歸一化結(jié)果導(dǎo)入非線(xiàn)性激活層，引入該層是為了從卷積輸出數(shù)據(jù)中提取激活特征圖像。非線(xiàn)性激活層由多種激活函數(shù)實(shí)現(xiàn)，如tanh，sigmoid或整流線(xiàn)性單元（ReLU）等，從學(xué)習(xí)速度角度出發(fā)，本文使用Re-LU激活函數(shù)。SM模塊特征提取基本結(jié)構(gòu)可以總結(jié)為Conv→級(jí)聯(lián)→BN→ReLU，其輸出可以表示為：其中：FSM指的是SM模塊的輸出，F(xiàn) n×n表示對(duì)輸入特征進(jìn)行卷積核大小為n×n的普通卷積運(yùn)算，F(xiàn) d=kn×n表示對(duì)輸入特征進(jìn)行卷積核大小為n×n、膨脹率為k的膨脹卷積運(yùn)算，C(·)表示特征級(jí)聯(lián)運(yùn)算，BN(·)表示批量標(biāo)準(zhǔn)化函數(shù)運(yùn)算，σ(·)表示ReLU激活函數(shù)運(yùn)算。

區(qū)別于自然圖像，HSI具有高通道數(shù)的特點(diǎn)，CM模塊可以在控制空間方向特征不損失的情況下，單獨(dú)提取多尺度通道特征以擬合噪聲光譜分布情況。該模塊使用大小為5×1×1，7×1×1，9×1×1的三維卷積（3D Conv）分別提取多尺度通道特征信息并級(jí)聯(lián)，大小為1×1×1的三維卷積對(duì)結(jié)果進(jìn)行降維，最后使用大小為3×3的普通卷積控制輸出通道數(shù)目。CM模塊特征提取基本結(jié)構(gòu)可以總結(jié)為3D Conv→級(jí) 聯(lián)→3D Conv→ReLU→Conv→BN→ReLU，其輸出可以表示為：

其中：FCM指的是CM模塊的輸出，F(xiàn) n×1×1表示卷積核大小為n×1×1三維卷積運(yùn)算。隨著網(wǎng)絡(luò)深度的增加，多尺度特征級(jí)聯(lián)結(jié)果能更好地逼近噪聲分布。

2.4 MARB

多尺度特征有效地結(jié)合了不同尺度上的特征，被廣泛用于獲取更好的物體及其周?chē)h(huán)境的信息。注意力機(jī)制能夠增強(qiáng)回歸任務(wù)提取信息的能力，這有利于提高網(wǎng)絡(luò)準(zhǔn)確性。受這些思想的啟發(fā)，MARB用注意力模塊指導(dǎo)多尺度特征提取結(jié)果以有效學(xué)習(xí)噪聲信息。如圖3所示，對(duì)于輸入特征Fin，MARB使用大小為3×3，組數(shù)為120的可分離卷積和大小為3×3，組數(shù)為120，膨脹率為2的膨脹卷積分別提取初始特征。然后，各特征提取結(jié)果交叉進(jìn)行這兩種類(lèi)型的卷積運(yùn)算，生成4個(gè)不同卷積組合順序的特征圖。這種交叉特征提取方式既能保證輸入信息可以通過(guò)所有參數(shù)層傳播，使得MARB可以通過(guò)不同尺度的特征來(lái)學(xué)習(xí)噪聲初級(jí)特征，同時(shí)又提取到卷積層不同組合順序的噪聲結(jié)構(gòu)特征。另外，由于噪聲密度分布模式在不同通道上變化很大，因此BCP先驗(yàn)［24］可能是獲得通道特征的不同加權(quán)信息的有效方法。經(jīng)發(fā)現(xiàn)，與同等對(duì)待不同通道的方法相比，具有BCP的通道式注意方案可以幫助網(wǎng)絡(luò)更好地保持原噪聲圖像中的像素亮度。因此，通道注意力可以捕捉噪聲區(qū)域并幫助提取重要通道特征。同時(shí)，由于噪聲的分布幾乎是不均勻的，在不同的空間位置可能會(huì)有所不同，故空間注意力對(duì)噪聲區(qū)域的識(shí)別也很重要。本文融合4個(gè)組合的特征提取結(jié)果，并使用大小為1×1的普通卷積控制通道數(shù)目，再使用大小為3×3，組數(shù)為120的可分離卷積提取噪聲擬合結(jié)果，然后依次通過(guò)通道注意力（Channel Attention，CA）和空間注意力（Spatial Attention，SA）模塊獲得深層特征注意力結(jié)果。最終與該模塊輸入特征Fin進(jìn)行跳躍殘差連接獲得MARB輸出特征FMARB，可以表述為：

其中：G表示Conv/Dilated Conv→BN→ReLU組合運(yùn)算分別表示3×3的普通卷積組合運(yùn)算和膨脹率為2的3×3膨脹卷積組合運(yùn)算，sa(·)，ca(·)分別表示空間注意力和通道注意力運(yùn)算。圖4（a）展示了BCP通道注意力提取方案，圖4（b）展示了BCP空間注意力提取方案。MARB能夠強(qiáng)化噪聲特征信息的組合和重構(gòu)。

圖4 BCP注意力模塊Fig.4 BCP attention blocks

2.5 密集連接和可分離卷積策略

深度學(xué)習(xí)中，增加網(wǎng)絡(luò)的深度和廣度，本質(zhì)上都是在增加可學(xué)習(xí)參數(shù)的個(gè)數(shù)，從而增加網(wǎng)絡(luò)的擬合能力。最佳網(wǎng)絡(luò)設(shè)計(jì)便是追求深度和廣度的平衡。目前，大多處理HSI的神經(jīng)網(wǎng)絡(luò)模型多是單一地增加深度或者廣度，兩者結(jié)合的模型十分少見(jiàn)，主要是因?yàn)樘荻认Ш吞荻缺▽?dǎo)致網(wǎng)絡(luò)深度比較大的時(shí)候難以訓(xùn)練。另外，網(wǎng)絡(luò)各層參數(shù)數(shù)量與當(dāng)前層輸出通道數(shù)目正相關(guān)，特別對(duì)于高通道數(shù)量的HSI，極大地增加了計(jì)算復(fù)雜度，故很難實(shí)現(xiàn)相關(guān)網(wǎng)絡(luò)深度和廣度的高效平衡。

本文使用10個(gè)密集連接的MARB以提升網(wǎng)絡(luò)深度，每個(gè)MARB輸入特征通過(guò)級(jí)聯(lián)前面所有MARB的輸出特征獲得。為了減少成倍數(shù)增加的特征通道數(shù)，每個(gè)MARB結(jié)束后均加入一個(gè)大小為1×1的普通卷積層控制輸出通道數(shù)目。這種密集連接方式能很大程度地提升MARB噪聲特征的提取性能，有助于反向傳播梯度來(lái)更新參數(shù)，同時(shí)跳躍級(jí)聯(lián)重復(fù)利用噪聲特征以保證網(wǎng)絡(luò)豐富的信息流，并大幅降低參數(shù)量。

盡管如此，更深更復(fù)雜的網(wǎng)絡(luò)還是會(huì)造成數(shù)據(jù)計(jì)算量更高，顯存負(fù)荷過(guò)載嚴(yán)重。考慮到HSI豐富的光譜信息，本文使用可分離卷積，在維持網(wǎng)絡(luò)高廣度的條件下能夠減小網(wǎng)絡(luò)參數(shù)量。換句話(huà)說(shuō)，相同的參數(shù)條件下，利用可分離卷積策略能夠獲得更深更廣的網(wǎng)絡(luò)模型。在普通卷積運(yùn)算中，對(duì)于一個(gè)卷積核，它與所有輸入特征進(jìn)行卷積運(yùn)算，最終求和產(chǎn)生單通道輸出特征，N個(gè)卷積核則產(chǎn)生N個(gè)通道的輸出特征?？煞蛛x卷積實(shí)際上就是對(duì)輸入特征通道進(jìn)行分組，每組對(duì)應(yīng)一個(gè)卷積核，該卷積核與且只與該組內(nèi)所有輸入特征進(jìn)行卷積運(yùn)算核求和，故N個(gè)卷積核仍能產(chǎn)生N個(gè)通道的輸出特征，而參數(shù)計(jì)算量卻減少到原來(lái)的1/N。特別地，本文使用的深度可分離卷積運(yùn)算組數(shù)被設(shè)置為輸入特征通道數(shù)目，最大限度降低參數(shù)量的同時(shí)保證網(wǎng)絡(luò)的高效無(wú)損信息流。

2.6 HSI梯度信息

雖然深度學(xué)習(xí)方法在HSI去噪領(lǐng)域取得了卓越性能，但是大多數(shù)去噪網(wǎng)絡(luò)無(wú)法準(zhǔn)確提取噪聲，很難恢復(fù)圖像邊緣和內(nèi)部紋理結(jié)構(gòu)?？紤]到噪聲分布的無(wú)規(guī)律性，圖像高紋理區(qū)域的像素信息可以表述為噪聲梯度信息。空間梯度信息由于其獨(dú)特的結(jié)構(gòu)方向性，在一定程度上可以有效突出稀疏噪聲。由于高光譜數(shù)據(jù)包含數(shù)百個(gè)波段的豐富光譜信息，每個(gè)譜段的噪聲水平和類(lèi)型通常不同，光譜梯度差異提供了額外的補(bǔ)充信息。故充分利用空間梯度和光譜梯度信息，對(duì)恢復(fù)HSI具有重要意義。

本文使用Sobel濾波器［25］計(jì)算空間梯度信息，該濾波器由一個(gè)水平過(guò)濾器SH和一個(gè)垂直過(guò)濾器SV組成，表示如下：

通過(guò)計(jì)算SH，SV和輸入圖像X間的卷積，可以獲得水平梯度GH和垂直梯度GV。這個(gè)過(guò)程可以寫(xiě)成：其中，“*”表示卷積運(yùn)算。本文對(duì)水平梯度和豎直梯度進(jìn)行先平方和再開(kāi)根號(hào)的運(yùn)算，獲得最終空間梯度信息GS，表示為：

本文利用相鄰?fù)ǖ老袼刂底鞑瞰@取圖像光譜梯度信息GC，表示為:

其中m，n，k表示三維圖像X的像素坐標(biāo)。本文級(jí)聯(lián)融合空間梯度和光譜梯度信息，并訓(xùn)練獨(dú)立的梯度網(wǎng)絡(luò)，最終輸出梯度特征提取結(jié)果FG_OUT，表示為：

其中：F n{·}表示第n個(gè)Conv→BN→ReLU組合運(yùn)算，卷積層使用組數(shù)為120的3×3深度可分離卷積；?表示相鄰兩個(gè)網(wǎng)絡(luò)層組合F n，F(xiàn) n-1之間的特征映射變換。

梯度網(wǎng)絡(luò)輸出結(jié)果FG_OUT與空譜特征網(wǎng)絡(luò)輸出結(jié)果FM_OUT加權(quán)融合生成FOUT，表示如下：

其中θ表示權(quán)重常量。然后對(duì)FOUT使用一個(gè)3×3的普通卷積整合特征，獲得噪聲評(píng)估特征V，并與網(wǎng)絡(luò)輸入Y進(jìn)行長(zhǎng)期跳躍相減運(yùn)算，以通過(guò)整個(gè)網(wǎng)絡(luò)直接傳播無(wú)損信息恢復(fù)K通道HSI去噪結(jié)果X。

2.7 損失函數(shù)

均方誤差（Mean Square Error，MSE）廣泛用于評(píng)估去噪圖像及其對(duì)應(yīng)的真值圖像區(qū)別的損失函數(shù)。對(duì)給定的輸入噪聲圖像Y，其對(duì)應(yīng)的真值圖像X'，經(jīng)過(guò)所提出的網(wǎng)絡(luò)輸出去噪圖像X。因此像素級(jí)均方誤差損失可定義如下：

其中H，W，C分別表示HSI的高度、寬度和通道數(shù)目。然而，MSE通常會(huì)導(dǎo)致高頻紋理的模糊和過(guò)度平滑，故單獨(dú)使用它對(duì)去除噪聲和恢復(fù)圖像內(nèi)容具有很大的局限性。為了解決上述問(wèn)題，本文將圖像結(jié)構(gòu)相似性（Structural Similarity，SSIM）引入損失函數(shù)計(jì)算，即結(jié)合MSE損失和SSIM損失作為網(wǎng)絡(luò)總損失函數(shù)，以平衡圖像去噪性能和保持圖像內(nèi)部結(jié)構(gòu)。SSIM是衡量?jī)煞鶊D像X與X'結(jié)構(gòu)相似程度的重要指標(biāo)［26］，即：

其中：μX，σX分別表示X的均值和標(biāo)準(zhǔn)差，X與X'之間的協(xié)方差表示為σXσX'，C1，C2是平衡方程的常量。SSIM的取值是0～1，在圖像恢復(fù)過(guò)程中，較大的數(shù)值則表明結(jié)果圖像更類(lèi)似真值圖像，因此SSIM損失可以定義為：

總混合損失L經(jīng)LMSE和LSSIM加權(quán)求和，結(jié)果表示為：

其中λ是能夠平衡MSE損失和SSIM損失之間權(quán)重的超參數(shù)。通過(guò)適當(dāng)?shù)脑O(shè)置，混合損失可以在保持全局結(jié)構(gòu)的同時(shí)保證每個(gè)像素的相似性，這有助于去噪模型恢復(fù)圖像。根據(jù)經(jīng)驗(yàn)，本文設(shè)置λ=0.2。

3 實(shí) 驗(yàn)

本文提出的模型在下述服務(wù)器上運(yùn)行：操作系統(tǒng)Ubuntu18.04.3，CPU處理器Intel（R）Core（TM）i7-9700K CPU@3.60 GHz，GPU顯 卡NVIDIA RTX 2070 Super GPU，基于深度學(xué)習(xí)框架Pytorch1.3。

3.1 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

本文使用HSI公開(kāi)數(shù)據(jù)集對(duì)所提算法模型的有效性進(jìn)行訓(xùn)練和評(píng)估。訓(xùn)練時(shí)，本文選擇HYDICE機(jī)載傳感器獲取的Washington DC Mall的一部分作為訓(xùn)練數(shù)據(jù)。該傳感器共包括0.4～2.4μm紅外光譜中的210個(gè)光譜帶，其中去除存在嚴(yán)重大氣干擾的0.9～1.4μm的譜段，共剩有191個(gè)譜段。該高光譜數(shù)據(jù)集尺寸為1 208×307×191，在該數(shù)據(jù)集上加入合成噪聲，并切割200×200×191的數(shù)據(jù)用于測(cè)試模型，剩余部分用于訓(xùn)練網(wǎng)絡(luò)。

由于HSI像素值表示反射率，故用于訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)首先需要進(jìn)行歸一化處理，即每個(gè)譜段的像素值縮放到［0，1］之間。另外，考慮到對(duì)比實(shí)驗(yàn)需要控制參數(shù)變量，本文將網(wǎng)絡(luò)輸入通道數(shù)設(shè)定為K=24。本文設(shè)置訓(xùn)練數(shù)據(jù)集切片尺寸為20×20，切割步長(zhǎng)等于20，并且對(duì)數(shù)據(jù)切片進(jìn)行包括旋轉(zhuǎn)、翻折、放縮等在內(nèi)的數(shù)據(jù)增強(qiáng)操作，最終共生成真值圖像切片198 648個(gè)。通過(guò)向真值圖像切片添加不同方差水平的高斯白噪聲來(lái)合成噪聲切片，噪聲標(biāo)準(zhǔn)差（σ）設(shè)置為25，50和100，保證網(wǎng)絡(luò)能夠?qū)W習(xí)不同的噪聲配置，避免訓(xùn)練過(guò)程中出現(xiàn)數(shù)據(jù)冗余問(wèn)題。由于數(shù)據(jù)集做過(guò)歸一化處理，故高斯噪聲分布實(shí)際使用的標(biāo)準(zhǔn)差σ'=σ/255.0。所提出的模型使用Adam優(yōu)化器訓(xùn)練，整個(gè)訓(xùn)練過(guò)程共迭代100次，學(xué)習(xí)率初始化為0.001，并且每迭代30次學(xué)習(xí)率衰減0.5，每個(gè)批次送入128個(gè)噪聲-真值切片組。為了提高模型收斂速度，本文使用Kaiming分布［27］初始化卷積層和激活層參數(shù)，BN層初始化權(quán)重值約束為［-0.025，0.025］，初始偏移量值設(shè)置為0。

為了評(píng)估所提出方法的有效性，測(cè)試實(shí)驗(yàn)分為合成噪聲實(shí)驗(yàn)和真實(shí)噪聲實(shí)驗(yàn)兩部分。本文使用從Washington DC Mall數(shù)據(jù)集剪裁的200×200×191的部分進(jìn)行合成噪聲實(shí)驗(yàn)，對(duì)該測(cè)試數(shù)據(jù)分別添加一定標(biāo)準(zhǔn)差的高斯白噪聲，分別評(píng)估同樣噪聲水平下訓(xùn)練好的模型的去噪效果。

這里選擇Indian Pines數(shù)據(jù)集和Cave數(shù)據(jù)集進(jìn)行真實(shí)噪聲實(shí)驗(yàn)。由于傳感器本身局限和大氣等環(huán)境干擾的影響，兩個(gè)數(shù)據(jù)本身具有一定水平的噪聲。參考已有的HSI去噪方法，選擇訓(xùn)練完成的σ=50的去噪模型進(jìn)行去噪效果測(cè)試。Indian Pines數(shù)據(jù)集由機(jī)載可見(jiàn)紅外成像光譜儀（AVIRIS）獲得，由145×145個(gè)像素和220個(gè)光譜帶組成。在去除吸水帶（第104～108、第150～163和第220譜段）后，剩余的200個(gè)譜帶被保留用于實(shí)驗(yàn)，圖像分辨率為145×145×200。Cave數(shù)據(jù)集由Cooled CCD相機(jī)獲得，譜段為400～700 nm，圖像分辨率為512×512×31，兩個(gè)數(shù)據(jù)集均進(jìn)行歸一化處理。

3.2 性能評(píng)價(jià)標(biāo)準(zhǔn)

本文使用平均峰值信噪比（Mean Peak Signal to Noise Ratio，MPSNR）、平均結(jié)構(gòu)相似性指數(shù)（MSSIM）來(lái)評(píng)估所提出模型的去噪效果，這兩個(gè)度量指標(biāo)常用作評(píng)價(jià)HSI回歸任務(wù)的擬合性能。兩幅圖像X和X'之間的峰值信噪比

（PSNR）為：

其中：MAX2X為X最大像素值，MSE XX'為X與X'之間的均方誤差。各譜段的PSNR和SSIM的平均值分別表示為MPSNR和MSSIM。

本文可視化比較不同算法的去噪結(jié)果，選擇少數(shù)譜段數(shù)據(jù)生成偽彩色圖像以保證高的視覺(jué)質(zhì)量。為了分析去噪圖像的后續(xù)處理性能，使用機(jī)器學(xué)習(xí)SVM算法分別對(duì)去噪前后的HSI進(jìn)行分類(lèi)驗(yàn)證。

3.3 實(shí)驗(yàn)結(jié)果比較與分析

用本文所提方法與幾個(gè)當(dāng)前主流的HSI去噪方法進(jìn)行比較，包括HSSNR方法［12］，ITSReg方 法［16］，BM 4D方 法［15］，LRMR方 法［14］，HSIDCNN方法［21］，就指標(biāo)值和視覺(jué)效果進(jìn)行評(píng)估。

3.3.1 合成噪聲實(shí)驗(yàn)結(jié)果與分析

給定σ={25，50，100}，合成噪聲實(shí)驗(yàn)結(jié)果如表1所示，最佳指標(biāo)值以粗體顯示?？梢悦黠@看出，除了在噪聲水平σ=100條件下MPSNR偏低，所提出的算法基本在所有噪聲水平中表現(xiàn)出最高M(jìn)PSNR和MSSIM。特別在σ=50的噪聲水平下，所提出方法獲得的MPSNR相比于HSID方法提升0.458 dB，MSSIM提升0.014 2 dB。盡管算法對(duì)高強(qiáng)度噪聲沒(méi)有獲得最好的MPSNR，但是仍能取得最好的MSSIM，也證實(shí)所提出模型對(duì)圖像內(nèi)部結(jié)構(gòu)具有很強(qiáng)的恢復(fù)能力。

表1 合成噪聲實(shí)驗(yàn)去噪結(jié)果對(duì)比Tab.1 Comparison of denoising results of different methods in synthetic noise experiment

圖5 展示了噪聲水平σ=50條件下不同算法的去噪效果。本文選擇57，27和17三個(gè)譜段的噪聲圖像、真值圖像和去噪結(jié)果分別組成各自的偽彩色圖像，對(duì)方框內(nèi)部細(xì)節(jié)放大顯示。其中，圖5（a）表示添加噪聲水平σ=50的合成噪聲圖像，圖5（b）表示真值圖像，圖5（c）～5（g）分別表示其他對(duì)比算法的去噪結(jié)果，圖5（h）表示所提出方法的去噪結(jié)果?？梢钥闯?，HSSNR獲得的去噪圖像存在明顯的殘留噪聲，ITSReg和BM 4D的去噪效果不理想，且獲得的圖像表現(xiàn)得較為模糊。LRTA，HSID及所提出的算法均取得了不錯(cuò)的去噪效果，但是觀(guān)察放大區(qū)域，LRTA在圖像紋理細(xì)節(jié)的保持上效果不佳，受周?chē)匚镉绊憘斡靶Ч黠@。另外，觀(guān)察到底部白色邊緣，HSID受邊緣高亮區(qū)域影響仍具有偽影現(xiàn)象，而本文所提出的方法對(duì)紋理細(xì)節(jié)特征具有更佳的抓取能力，圖像恢復(fù)效果最好。這是因?yàn)楸疚姆椒ɡ昧藦妮斎朐肼暭?jí)圖中給出的更多先驗(yàn)信息，跳躍鏈接保證信息層級(jí)重復(fù)利用，使得網(wǎng)絡(luò)在去噪性能和內(nèi)部結(jié)構(gòu)恢復(fù)之間保持良好的平衡。

由于高光譜數(shù)據(jù)譜段多，為了更好地評(píng)估單譜段去噪效果，本文選擇可視化展示所提出算法和HSID算法在噪聲水平σ=50下，全譜段去噪結(jié)果的PSNR和SSIM。如圖6所示（彩圖見(jiàn)期刊電子版），藍(lán)線(xiàn)和黃線(xiàn)分別代表本文算法結(jié)果和HSID算法結(jié)果，可以看出，兩個(gè)算法單譜段PSNR峰值和低值表現(xiàn)相似，這與高光譜傳感器不同譜段的成像特點(diǎn)高度相關(guān)。不確定度分析全譜段數(shù)據(jù)可以看出，本文算法結(jié)果均值優(yōu)于HSID算法結(jié)果。雖然本文算法全譜段的PSNR標(biāo)準(zhǔn)差為0.773，高于HSID方法的0.596，但是全譜段的SSIM標(biāo)準(zhǔn)差為0.017，低于HSID方法的0.034，這也進(jìn)一步說(shuō)明本文算法對(duì)紋理結(jié)構(gòu)的恢復(fù)效果穩(wěn)定，特別是在高頻區(qū)域和低頻區(qū)域，本文算法單譜段的去噪指標(biāo)更高且更穩(wěn)定。另外，SSIM曲線(xiàn)的穩(wěn)定也表明本文對(duì)圖像紋理結(jié)構(gòu)的恢復(fù)效果更佳，并且在大多數(shù)譜段具有更高的去噪峰值。

3.3.2 真實(shí)噪聲實(shí)驗(yàn)結(jié)果與分析

Indian Pines數(shù)據(jù)集本身具有明顯的噪點(diǎn)和條紋，故直接對(duì)原圖像進(jìn)行去噪實(shí)驗(yàn)。使用第2譜段數(shù)據(jù)可視化顯示所提出的算法對(duì)比其他算法的去噪結(jié)果，如圖7所示，方框區(qū)域在右上角放大顯示。對(duì)比發(fā)現(xiàn)，HSSNR算法和ITSReg算法的去噪圖像很模糊，圖像嚴(yán)重失真。BM 4D算法可以減少一些噪聲，但一些密集的噪聲和條紋仍然保留在恢復(fù)的結(jié)果中。LRTR算法雖然接近原圖像，但仍具有偽影現(xiàn)象，一些詳細(xì)的信息同時(shí)被平滑和丟失。HSID算法和本文算法的去噪效果最為顯著，但是，HSID算法結(jié)果保持著高亮度，這也造成細(xì)節(jié)結(jié)構(gòu)不明顯，相比本文算法表現(xiàn)最好，有效地消除了噪點(diǎn)和條紋，同時(shí)保留了HSI內(nèi)部結(jié)構(gòu)信息。

圖6 σ=50條件下不同譜段的去噪結(jié)果Fig.6 Denoising results of different wavebands inσ=50

圖7 Indian Pines數(shù)據(jù)集不同算法的去噪結(jié)果Fig.7 Denoising results of different algorithms of Indian Pines data set

圖8 Cave數(shù)據(jù)集的去噪結(jié)果Fig.8 Denoising results of Cave data set

為了進(jìn)一步評(píng)估所提出算法恢復(fù)圖像內(nèi)部結(jié)構(gòu)的能力，這里選擇4幅Cave噪聲圖像，分別使用HSID算法和所提出算法進(jìn)行去噪以獲取去噪結(jié)果，如圖8所示?？梢钥闯觯趦煞N顏色過(guò)渡區(qū)域，HSID算法容易丟失邊緣細(xì)節(jié)，產(chǎn)生一定程度的模糊。另外，與周?chē)尘皡^(qū)域區(qū)別度較小的顏色，HSID算法很難還原，甚至直接恢復(fù)成背景顏色。本文算法有效地去除了噪聲，同時(shí)保留了局部細(xì)節(jié)和結(jié)構(gòu)信息，沒(méi)有明顯的過(guò)度平滑，能更好地恢復(fù)過(guò)渡顏色。

為了驗(yàn)證去噪圖像的后續(xù)處理性能，本文選擇Indian Pines數(shù)據(jù)集，并使用SVM分類(lèi)器分別將所提出算法去噪前后的圖像進(jìn)行分類(lèi)。分類(lèi)效果使用總體精度（Overall Accuracy，OA）和Kappa系數(shù)兩個(gè)指標(biāo)進(jìn)行評(píng)測(cè)，如表2所示。OA表示被正確分類(lèi)的類(lèi)別像元數(shù)與總的類(lèi)別個(gè)數(shù)的比值，Kappa系數(shù)代表著分類(lèi)與完全隨機(jī)的分類(lèi)產(chǎn)生錯(cuò)誤減少的比例，兩個(gè)值越大代表分類(lèi)準(zhǔn)確度越高。該數(shù)據(jù)集的分類(lèi)結(jié)果如圖9所示。對(duì)比圖9（a）和圖9（b）可以看出，原圖像的分類(lèi)結(jié)果存在大量誤分類(lèi)像素點(diǎn)，特別是在同類(lèi)別內(nèi)部更加明顯。藍(lán)色類(lèi)識(shí)別效果極差，分類(lèi)指標(biāo)OA和Kappa分別只有80.74%和0.780 2。對(duì)于本文算法去噪圖像的分類(lèi)結(jié)果，OA和Kappa得到顯著提升，藍(lán)色區(qū)域得到正常識(shí)別，這是因?yàn)镮ndian Pines數(shù)據(jù)集不同地物類(lèi)別呈塊狀分布，塊內(nèi)噪點(diǎn)就會(huì)造成該類(lèi)內(nèi)部的誤分類(lèi)，而藍(lán)色類(lèi)作為作物混生區(qū)，同物異譜現(xiàn)象造成嚴(yán)重的偽影。本文算法能夠更好地提取類(lèi)別塊內(nèi)部結(jié)構(gòu)，塊內(nèi)噪點(diǎn)去除明顯，故分類(lèi)性能明顯提升，OA和Kappa達(dá)到90.89%和0.888 4，分別提升10.15%和0.108 2。故本文提出的去噪算法在有效恢復(fù)HSI質(zhì)量的同時(shí)，對(duì)后續(xù)圖像應(yīng)用處理上也具有很強(qiáng)的潛力。

圖9 Indian Pines數(shù)據(jù)集的分類(lèi)結(jié)果Fig.9 Classification results of Indian Pines data set

表2 Indian Pines數(shù)據(jù)集分類(lèi)結(jié)果評(píng)價(jià)Tab.2 Evaluation of classification results of Indian Pines data set

3.4 實(shí)驗(yàn)超參數(shù)設(shè)置評(píng)價(jià)與分析

3.4.1 梯度信息融合

為了確定網(wǎng)絡(luò)中梯度信息的最佳融合位置和融合方式，本文對(duì)比分析了4種融合策略，包括：A 0單一空譜網(wǎng)絡(luò)；A 1對(duì)空譜多尺度特征提取結(jié)果和梯度多尺度特征提取結(jié)果先直接級(jí)聯(lián)，再經(jīng)過(guò)密集連接的MARB；A 2對(duì)密集連接MARB結(jié)果和梯度多尺度特征提取結(jié)果直接級(jí)聯(lián)；A 3則使用本文獨(dú)立的梯度特征網(wǎng)絡(luò)，然后使用θ加權(quán)融合空譜特征和梯度特征，如式（16）所示；另外，為了獲得最佳權(quán)重參數(shù)θ，這里又設(shè)計(jì)了3組不同權(quán)重的實(shí)驗(yàn)A 3-1，A 3-2和A 3-3，對(duì)應(yīng)的θ值分別為0.1，0.2和0.3。實(shí)驗(yàn)在噪聲水平σ=25的條件下進(jìn)行3次并取平均值，結(jié)果如表3所示，最佳結(jié)果加粗顯示。對(duì)比發(fā)現(xiàn)，A 0結(jié)果取得最低實(shí)驗(yàn)指標(biāo)值；A 1，A 2和A 3-2三組均取得不錯(cuò)的實(shí)驗(yàn)效果，A 3-2實(shí)驗(yàn)獲得的最大MPSNR值為33.439 dB和最大MSSIM值為0.983 2 dB，這與噪聲中梯度信息的影響能力有關(guān)。圖10繪制了這三組實(shí)驗(yàn)訓(xùn)練模型過(guò)程中損失函數(shù)的變化曲線(xiàn)，可以看出，A 3-2實(shí)驗(yàn)組網(wǎng)絡(luò)收斂最快且穩(wěn)定，這也證明了本文所使用的梯度特征和空譜特征融合方式的高效性。

表3 梯度融合實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of gradient fusion

3.4.2 參數(shù)量分析

圖10 損失函數(shù)變化曲線(xiàn)Fig.10 Change curve of loss function

表4 密集連接參數(shù)量分析Tab.4 Parameter analysis of dense connection（MB）

本文使用密集連接和可分離卷積策略降低網(wǎng)絡(luò)參數(shù)。表4給出了使用可分離卷積策略時(shí)，不同MARB在使用密集連接策略前后的參數(shù)量。從10個(gè)MARB塊中選擇第1，3，8，9，10個(gè)MARB用于統(tǒng)計(jì)參數(shù)量，可以看出，本文密集連接方法可以很好地避免MARB參數(shù)的膨脹增長(zhǎng)。從最后一個(gè)MARB可以看出，失去密集連接后參數(shù)量膨脹嚴(yán)重，使用密集連接的參數(shù)量比直接連接減少98%左右。為了證明可分離卷積策略的有效性，本文分別統(tǒng)計(jì)所提出模型使用普通卷積和使用可分離卷積的參數(shù)情況，并與梯度去噪網(wǎng)絡(luò)SSGN［21］進(jìn)行比較，結(jié)果如表5所示。由于本文算法的網(wǎng)絡(luò)深度及廣度均比較大，使用可分離卷積前后網(wǎng)絡(luò)訓(xùn)練參數(shù)量變化顯著，網(wǎng)絡(luò)參數(shù)量基本達(dá)到20倍的差值。相比于SSGN方法，盡管復(fù)雜的網(wǎng)絡(luò)產(chǎn)生更多的梯度求導(dǎo)運(yùn)算過(guò)程，但是參數(shù)量和模型大小減小到1/3?？煞蛛x卷積最大限度壓縮網(wǎng)絡(luò)模型大小到2.06 MB，這在復(fù)雜網(wǎng)絡(luò)模型的保存上具有優(yōu)勢(shì)。因此，密集連接和可分離卷積策略實(shí)現(xiàn)了所提出模型在高效特征提取性能下網(wǎng)絡(luò)廣度和深度的平衡。

表5 可分離卷積參數(shù)量分析Tab.5 Parameter analysis of separable convolution （MB）

4 結(jié) 論

本文提出了一種基于深度學(xué)習(xí)的HSI去噪方法，通過(guò)深度空譜-梯度網(wǎng)絡(luò)學(xué)習(xí)噪聲圖像和真值圖像之間的非線(xiàn)性端到端映射，以更好地利用空間信息、光譜信息和梯度信息恢復(fù)圖像。其中，多尺度特征提取模塊用于捕獲多尺度特征，MARB更好地集中噪聲空譜特征，密集連接和可分離卷積策略?xún)?yōu)化模型規(guī)模，多尺度梯度信息進(jìn)一步豐富噪聲特征。合成數(shù)據(jù)實(shí)驗(yàn)和真實(shí)數(shù)據(jù)實(shí)驗(yàn)表明，該方法在評(píng)價(jià)指標(biāo)、視覺(jué)效果上均優(yōu)于多數(shù)主流方法。特別地，本文算法對(duì)圖像紋理結(jié)構(gòu)恢復(fù)效果顯著，在σ=50噪聲水平下獲得29.426 d B的PSNR、0.967 8 d B的SSIM以及90.389%的SVM分類(lèi)精度。在未來(lái)的工作中，我們將研究更有效的網(wǎng)絡(luò)學(xué)習(xí)結(jié)構(gòu)來(lái)消除HSI中的混合噪聲，如條帶噪聲、脈沖噪聲和死線(xiàn)等。