陽雄耀等
摘 要: 高光譜數(shù)據(jù)中包含豐富的光譜和空間上下文信息。早期的高光譜圖像去噪方法是單波段的、僅利用了高光譜數(shù)據(jù)的空間上下文信息。近年來提出的一些去噪方法綜合利用了光譜和空間上下文信息,但是在對大尺度和全局上下文信息建模以及模型與圖像內(nèi)容自適應等方面存在局限,導致去噪結果出現(xiàn)過平滑的現(xiàn)象。針對上述問題,提出了一種基于回歸樹場的高光譜圖像去噪方法:首先選擇需要處理的高光譜波段;然后構建基于回歸樹場的高光譜去噪模型;最后利用基于特定代價函數(shù)的模型訓練方法同時得到模型的結構和參數(shù)、輸出去噪后的圖像。實驗結果表明,該方法能夠充分利用高光譜數(shù)據(jù)的光譜和空間上下文信息,在有效去除噪聲的同時很好地保存了圖像中的重要細節(jié),與BM3D和CRF相比,其PSNR提高了0.8~1.1 dB。
關鍵詞: 高光譜去噪; 回歸樹場; 代價函數(shù); 光譜和空間上下文信息; 過平滑
中圖分類號: TN911.73?34; TP751.1 文獻標識碼: A 文章編號: 1004?373X(2015)21?0001?05
Hyperspectral image denoising method based on RTF
YANG Xiongyao, ZHONG Ping, WANG Runsheng
(Key Laboratory of National Defense Science and Technology of ATR, National University of Defense Technology, Changsha 410073, China)
Abstract: The abundant spectral and spatial contextual information are contained in hyperspectral data. The original hyperspectral image denoising methods are direct at the single band, and only the spatial contextual information of the hyperspectral data is utilized. Some denoising methods proposed in recent years utilize the spectral and spatial contextual information synthetically, but they have certain limitation in the aspects of large scale and global contextual information modeling, and the adaption of model and image content, which may cause the over?smooth phenomenon of the denoising results. For the above problems, a hyperspectral image denoising method based on regression tree field (RTF) is put forward. In the new method, the hyperspectral band which needs to be processed is selected first; then the hyperspectral denoising model based on RTF is constructed; finally the structure and parameters of the model are obtained by using the model training method of specific cost function, and the denoised image is output. The experimental results show that this method can make full use of the spectral and spatial contextual information of hyperspectral data, can preserve the important details in image completely while removing the noise effectively. The PSNR of this method has increased by a factor of 0.8~1.1 dB, compared with BM3D and CRF.
Keywords: hyperspectral denoising; regression tree field; cost function; spectral and spatial contextual information; over?smoothing
0 引 言
高光譜圖像在采集與傳輸過程中不可避免地會受到噪聲的污染,研究高光譜圖像去噪技術具有十分重要的意義。早期的高光譜圖像去噪方法是在單波段進行的,沒有利用高光譜圖像中豐富的光譜和空間上下文信息,隨后出現(xiàn)了一些綜合利用光譜信息和空間信息的去噪方法:Othman和Qian提出了一種光譜空間域混合去噪的方法[1],將高光譜圖像光譜維變換到一階微分域后再利用光譜和空間混合小波閾值去噪;Chen和Qian提出了一種主成分分析的高光譜圖像去噪方法[2],通過對高光譜數(shù)據(jù)的協(xié)方差矩陣進行分析后剔除其中含有噪聲的成分再重建高光譜數(shù)據(jù)實現(xiàn)對高光譜圖像的去噪; Letexier和Bourennane提出了多維維納濾波方法[3],該方法通過分離信號子空間和噪聲子空間達到去除噪聲的目的。這些方法中普遍存在的問題是去噪后的圖像容易丟失細節(jié)紋理信息而出現(xiàn)過平滑的現(xiàn)象[4?5]。近年來,為了更好地利用圖像中的上下文信息,基于概率統(tǒng)計模型的方法成為新的研究熱點,其中較突出的代表有:非局部方法[6]、專家場(Fields of Experts,F(xiàn)oE)[7]、條件隨機場(Conditional Random Field,CRF)[8?9]等,其中以CRF的去噪效果最佳[10],它能夠較好地解決過平滑問題、比較完整地保存圖像中的結構信息。
雖然已經(jīng)證實CRF能夠取得令人滿意的去噪結果,但是它也存在一些問題,主要表現(xiàn)為:CRF具有固定的模型結構和參數(shù),對于不同的圖像內(nèi)容不加區(qū)分的對待;CRF的格型結構能夠方便和準確地表示圖像中的局部鄰域信息,但是對大尺度或者全局的鄰域信息建模卻比較困難。
近年提出的回歸樹場(Regression Tree Field,RTF)[11]對CRF做出了一些改進,與CRF相比,它的優(yōu)勢主要有:
(1) RTF實現(xiàn)了圖像內(nèi)容與模型參數(shù)之間的自適應,它的模型參數(shù)是由像元的鄰域信息決定的,不同的像元具有不同的模型參數(shù);
(2) RTF通過回歸樹的多層傳遞,實現(xiàn)了多尺度特征屬性到模型參數(shù)的轉換,可以對不同尺度的空間信息建模,能夠更好地保存圖像的全局特性。
雖然RTF已開始用于自然圖像的去噪[12]但還沒有擴展到高光譜圖像處理領域,為此本文提出一種基于RTF的高光譜圖像去噪方法,旨在充分利用高光譜數(shù)據(jù)中的光譜和空間上下文信息,提高去噪效果。
1 面向高光譜圖像去噪的RTF模型
1.1 高光譜圖像與噪聲特性分析
高光譜圖像是由光學傳感器對同一場景利用幾十甚至上百個光譜波段獲得的圖像。雖然同一場景的像元內(nèi)容不盡相同,但是相鄰像元之間具有很強的空間結構相關性,而且由于光譜分辨率的提高,各相鄰波段之間也具有很強的相關性。同時,高光譜數(shù)據(jù)在成像、傳輸?shù)倪^程中會受到多種噪聲源的污染,導致最終的高光譜數(shù)據(jù)中大部分波段比較清晰,小部分波段則受到不同程度的污染,這些噪聲波段以序列的形式存在于高光譜數(shù)據(jù)之中,并且在它們周圍通常都會存在清晰的波段。對于高光譜圖像而言,這種噪聲波段與干凈波段之間包含的光譜和空間相關信息以及波段內(nèi)像元之間的差異性對于高光譜圖像處理與分析具有非常重要的作用,而以RTF為代表的基于概率統(tǒng)計模型的方法正好能夠同時和有效地利用這些信息。
1.2 面向高光譜圖像去噪的RTF模型
將噪聲波段與相鄰高SNR波段組成的[d]波段高光譜數(shù)據(jù)表示成[y=y1,y2,…,yd,]其中噪聲波段為[yn1≤n≤d,]其余為高SNR波段,對[yn]去噪后得到的圖像可表示為[xn,]從而可以得到基于RTF的高光譜去噪模型的數(shù)學表達式:
式中:[Qy,w]為正定矩陣;[Ly,w]為列向量,雙位置勢函數(shù)具有類似的函數(shù)表達式。不同的單、雙位置勢函數(shù),其系數(shù)[Quy,w, Luy,w]和[Qpy,w, Lpy,w]不盡相同,令[Quy,w=Wu,Luy,w=wu,Qpy,w=Wp,] [Lpy,w=wp]得到模型參數(shù)的簡化表示形式為[W=Wu,wu,Wp,wp]。
與CRF對所有待處理像元采用統(tǒng)一的模型參數(shù)不同,RTF各個待處理像元的模型參數(shù)是由回歸樹根據(jù)像元內(nèi)容決定的。每個勢函數(shù)類型指定一棵回歸樹,回歸樹的頂點表示根節(jié)點,每一條路徑的終點稱為葉節(jié)點,根節(jié)點與葉節(jié)點之間的點稱為節(jié)點?;貧w樹的路徑是由節(jié)點的分裂準則(通常是計算該點的特征屬性值,然后和某一閾值進行比較)決定的,在一般的回歸樹中,當給定觀察圖像[x]中的某一像元[i]時,回歸樹就可以根據(jù)該像元的內(nèi)容選擇某一條路徑(包括根節(jié)點與葉節(jié)點等),該像元的標記[yi]就是訓練時同樣到達該葉節(jié)點[l*]的標記值的統(tǒng)計平均[ul*,]該過程如圖1(a)所示。在RTF中,葉節(jié)點中存儲的并非平均值而是勢函數(shù)參數(shù)[Wul,wul]或者[Wpl,wpl,]全部回歸樹葉節(jié)點存儲的參數(shù)集合就構成了RTF的模型參數(shù)[W=Wul,wul,Wpl,wpl]。這種由回歸樹決定模型參數(shù)的形式如圖1(b)所示。
由于RTF中的勢函數(shù)被定義為高斯二次函數(shù),故可以通過近似得到[x]的最優(yōu)估計:
圖1 RTF模型結構與參數(shù)化
2 基于RTF的高光譜圖像去噪方法
根據(jù)高光譜圖像中存在噪聲的特性以及RTF用于高光譜圖像去噪的優(yōu)勢,本文提出一種基于RTF模型的高光譜圖像去噪方法。其核心思想是從輸入待處理高光譜圖像中選擇要處理的噪聲波段圖像,然后利用其鄰域存在的清晰波段圖像,通過基于特定代價函數(shù)的RTF模型訓練算法,充分利用噪聲波段內(nèi)部的空間上下文信息以及相鄰清晰波段圖像的譜間上下文信息,實現(xiàn)高光譜圖像特定波段的復原。該方法的流程為:
(1) 對輸入圖像確定待處理的含噪波段圖像;
(2) 選擇含噪波段圖像鄰域中的高SNR波段圖像;
(3) 通過基于特定代價函數(shù)的RTF訓練方法,充分利用噪聲圖像和相鄰波段高SNR圖像中存在的光譜和空間上下文信息,得到含噪波段圖像的復原結果,其中的第(1)步和第(2)步可以歸結為波段選擇問題。
下面將對提出方法中的波段選擇方法和基于特定代價函數(shù)的RTF訓練方法進行詳細論述,最后從理論上分析所提方法的優(yōu)勢。
2.1 波段選擇方法
在實際的高光譜數(shù)據(jù)中,噪聲波段與干凈波段同時存在,僅使用高光譜數(shù)據(jù)本身就能構建訓練時所需的樣本對。在高光譜數(shù)據(jù)中確定哪些波段為噪聲波段主要有兩種辦法:一種是實際任務中通常采用的由專家確定感興趣和待處理的波段圖像;另一種是可以通過已有的噪聲估計方法自動選擇 [14?15],與之對應的相鄰高SNR波段的選擇也可以通過這兩種方式實現(xiàn)。
2.2 基于特定代價函數(shù)的RTF模型訓練
通過上述波段選擇方法得到待處理噪聲波段圖像和其鄰域高SNR波段圖像后,本文進一步采用基于特定代價函數(shù)的RTF模型訓練,在高光譜去噪過程中利用光譜和空間上下文信息。同時實現(xiàn)模型結構與參數(shù)的自適應確定(圖像中自適應上下文信息的利用)以及輸出復原圖像。
RTF模型訓練包括兩部分內(nèi)容:RTF模型結構訓練與模型參數(shù)訓練。目前的訓練方法主要基于以下兩種思路:其一是將模型結構與參數(shù)的學習分割開來,通過方差下降準則等分裂準則確定模型結構后再學習參數(shù);其二則是將模型結構和參數(shù)的學習統(tǒng)一起來,通過梯度范數(shù)準則同時學習模型結構與參數(shù)。后者顯然更為合理。
一般情況下,將訓練數(shù)據(jù)視為獨立同分布的像元對[xi,yni]的集合[D]。復原代價函數(shù)[?x,x:X×X→R]是評價去噪后的像元[x]與干凈像元[x]之間差異的測度, PSNR(Peak Signal?to?Noise Ratio)是一種典型的非線性代價函數(shù),它是評價圖像去噪方法有效性的最普遍客觀標準之一,[N]個像元的PSNR定義如下:
這種由于葉節(jié)點分裂而導致的代價函數(shù)梯度范數(shù)值的增加可以理解為通過參數(shù)設置所引起的代價函數(shù)值的變化,梯度范數(shù)值的提升能進一步促使目標函數(shù)值的增加,因此在實際訓練過程當中,回歸樹葉節(jié)點的分裂可以通過求代價函數(shù)梯度范數(shù)的最大值來實現(xiàn),新的葉節(jié)點中的模型參數(shù)即可設置為[w=][argmaxw??PSNRD,w?w。]由于RTF得到的估計值[xy,w=][argmaxxpxy;w]關于參數(shù)[w]是可微分的[12],因此代價函數(shù)[?PSNR]對參數(shù)[w]的梯度如式(6)所示。
綜上所述,基于PSNR復原代價函數(shù)的RTF模型訓練步驟簡述如下:
(1) 初始化模型以及參數(shù);
(2) 對每個訓練像元對[xi,yni,]根據(jù)式(3)計算[x,]然后計算[c;]
(3) 計算式(7)中的偏導數(shù);
(4) 計算式(6)中的梯度范數(shù)值,推導[wlt=] [argmaxw??PSNRD,w?w],分裂葉節(jié)點,并將新的葉節(jié)點中的參數(shù)初始化為[wlleftt←wlt,wlrightt←wlt;]
(5) 若達到最大迭代次數(shù)則停止,否則返回到步驟(2)。
2.3 研究方法特點分析
從理論上進行分析,提出的高光譜去噪方法具有如下特點:
(1) 提出的去噪方法由于只針對噪聲波段進行復原,避免了對多波段同時復原時因為清晰波段圖像引入偽信息而降低圖像質(zhì)量的問題;
(2) 由于只利用同噪聲圖像相鄰干凈波段的上下文信息,保證了利用的信息具有同噪聲圖像對應的干凈圖像所含信息的相似性,避免了其他多波段同時復原的方法中由于采用遠距離波段而出現(xiàn)的不相關信息干擾問題;
(3) 由于RTF模型具有自適應確定的回歸數(shù)結構,一方面能夠?qū)D像中的復雜結構進行建模;另一方面,也可以實現(xiàn)對高光譜圖像中重要的光譜和空間上下文信息的自適應構建和利用;
(4) 采用的基于特定代價函數(shù)的訓練框架,可以得到針對特定評價標準的最優(yōu)去噪效果,使提出的去噪方法具有一定的擴展性。
3 實驗結果與分析
3.1 實驗設置
實驗選擇的數(shù)據(jù)是高光譜圖像領域典型數(shù)據(jù)之一的Purdue Campus數(shù)據(jù),它是一種城市混合地貌影像數(shù)據(jù),包含豐富的人為結構信息,是評價高光譜去噪方法性能的理想數(shù)據(jù)類型。整幅圖像的尺寸為[1 950×512] 像素點,共包含126個波段,由于篇幅的限制,只選取其中一個[200×200]的子圖像塊,實驗數(shù)據(jù)如圖2所示。
3.2 對模擬噪聲的去噪效果分析
在高光譜圖像當中,某個波段的干凈圖像和它的噪聲圖像并不是同時存在的,因此通過人工選取的方式將第4,26與78波段作為干凈圖像,通過對它們分別加入方差為25的高斯白噪聲來擬合圖像被污染的過程,然后分別利用BM3D、基于CRF的高光譜圖像去噪方法和基于RTF的高光譜圖像去噪方法對它們進行去噪。圖3為對第4波段去噪結果的整體比較,圖4為各去噪方法的細節(jié)比較,表1則列出了這三種方法的數(shù)字化評價標準。
從實驗結果可以看出,BM3D具有較好的去噪視覺效果,但是容易丟失圖像細節(jié),與BM3D和CRF相比,RTF更完整地保存了原圖像中的結構細節(jié)信息,同時PSNR值也普遍提高了0.7~1.1 dB。
3.3 對實際的高光譜圖像去噪結果分析
由于天氣、傳感器等因素的影響,高光譜圖像數(shù)據(jù)中通常都含有噪聲波段,目前高光譜圖像分析與處理領域最一般的做法是直接將這些波段給剔除掉,但是這樣不可避免地會導致高光譜圖像中部分有用信息的丟失,一種可行的解決方案便是對這些噪聲波段進行去噪處理。雖然已經(jīng)證實在去除模擬噪聲上,RTF的確具有比CRF更好的效果,但是為了更加貼合實際,將RTF和CRF用于高光譜圖像中噪聲波段的去噪效果進行了比較,在Purdue Campus高光譜數(shù)據(jù)中,第63個波段為含有噪聲的波段,簡單起見,以人工選擇的方式將第65波段作為其鄰域高SNR波段,結果如圖5所示。實驗證明,在對高光譜實際噪聲波段的去噪效果上,與CRF相比較,RTF的去噪結果更接近于干凈圖像,去噪效果更優(yōu)。
4 結 語
本文提出了一種基于RTF的高光譜圖像去噪方法。結合圖像去噪任務的特性以及高光譜圖像噪聲的特點,分析了RTF用于高光譜圖像去噪的理論優(yōu)勢,此方法對模擬噪聲具有較好的去噪效果,但是去噪原理復雜,計算復雜度高,同時從實驗結果可以看出,該方法對實際噪聲還達不到很好的去噪效果,接下來的工作集中于提高RTF模型的計算效率以及對實際高光譜噪聲的去噪性能。
參考文獻
[1] OTHMAN H, QIAN S. Noise reduction of hyperspectral imagery using hybrid spatial?spectral derivative?domain wavelet shrinkage [J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(2): 397?408.
[2] CHEN G, QIAN S. Denoising of hyperspectral imagery using principal component analysis and wavelet shrinkage [J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(3):973?980.
[3] LETEXIER D, BOURENNANE S. Noise removal from hyperspectral images by multidimensional filtering [J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(7): 2061?2069.
[4] RENARD N, BOURENNANE S, BLANC?TALON J. Denoising and dimensionality reduction using multilinear tools for hyperspectral images [J]. IEEE Geoscience and Remote Sensing Letters, 2008, 5(2):138?142.
[5] LIU C, SZELISKI R, KANG S B, et al. Automatic estimation and removal of noise from a single image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 299?314.
[6] ANTONI B, BARTOMEU C, MOREL J. Nonlocal image and movie denoising [J]. International Journal of Computer Vision, 2008, 76(2): 123?139.
[7] ROTH S, BLACK M J. Fields of experts: a framework for learning image priors [C]// Proceedings of 2005 IEEE Confe?rence on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2005: 860?867.
[8] SUTTON C, ROHANIMANESH K, MCCALLUM A. Dynamic conditional random fields: probabilistic models for segmenting and labeling sequence data [C]// Proceedings of 2001 ACM International Conference on Machine Learning. New York: ACM, 2001: 282?289.
[9] KUMAR S, HEBERT M. Discriminative random fields: a discriminative framework for contextual interaction in classification [C]// Proceedings of 2003 IEEE International Conference on Computer Vision. Washington DC: IEEE, 2003, 2: 1150?1157.
[10] ZHONG P, WANG R. Multiple?spectral?band CRFs for denoising junk bands of hyperspectral imagery [J]. IEEE Tran?sactions on Geoscience and Remote Sensing, 2013, 51(4): 2260?2275.
[11] JANCSARY J, NOWOZIN S, SHARP T, et al. Regression tree fields: an efficient, non?parametric approach to image labeling problems [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2012: 2376?2383.
[12] JANCSARY J, NOWOZIN S, ROTHER C. Loss?specific training of non?parametric image restoration models: a new state of the art [C]// Proceedings of 2012 12th European Conference on Computer Vision. Florence: Springer, 2012: 112?125.
[13] KHOSLA P, RUBIN S. A conjugate gradient iterative method [J]. Lecture Notes in Physics, 1981, 9(2): 109?121.
[14] SENDUR L, SELESNICK I W. Bivariate shrinkage with local variance estimation [J]. IEEE Signal Processing Letters, 2002, 9(12): 438?441.
[15] USS M, VOZEL B, LUKIN V, et al. Local signal?dependent noise variance estimation from hyperspectral textural images [J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(3): 469?486.