黃 威，高太長，劉 磊，李書磊

解放軍理工大學(xué)氣象海洋學(xué)院, 江蘇 南京 211101

一種基于改進(jìn)累積方差百分比的紅外高光譜數(shù)據(jù)降噪方法

黃 威，高太長*，劉 磊，李書磊

解放軍理工大學(xué)氣象海洋學(xué)院, 江蘇 南京 211101

降低紅外高光譜觀測數(shù)據(jù)中的噪聲水平是提高溫濕廓線反演精度和反演穩(wěn)定性的重要環(huán)節(jié)。采用主成分分析法降噪時(shí)，最優(yōu)主成分個(gè)數(shù)k的選擇一般是根據(jù)統(tǒng)計(jì)和經(jīng)驗(yàn)的方法確定。統(tǒng)計(jì)的方法大都是根據(jù)累積方差百分比法，通過人為設(shè)定累積貢獻(xiàn)率閾值確定最優(yōu)主成分個(gè)數(shù)，使得該方法具有較大的主觀性和隨意性；經(jīng)驗(yàn)的方法則需要實(shí)時(shí)的等效噪聲光譜(NESR)數(shù)據(jù)做標(biāo)準(zhǔn)化處理將非均勻噪聲轉(zhuǎn)化為高斯分布，而實(shí)時(shí)的NESR數(shù)據(jù)在很多情況下不易獲取。針對上述問題，提出了一種基于改進(jìn)累積方差百分比的主成分降噪方法，通過迭代計(jì)算選取不同主成分時(shí)重構(gòu)光譜輻射與模擬光譜輻射的偏差來計(jì)算累積貢獻(xiàn)率閾值，根據(jù)閾值確定最優(yōu)的主成分個(gè)數(shù)。該方法解決了確定累積貢獻(xiàn)率閾值主觀隨意性的問題，并且不需要實(shí)時(shí)的NESR數(shù)據(jù)做標(biāo)準(zhǔn)化處理。根據(jù)物理反演結(jié)果分析了數(shù)據(jù)的標(biāo)準(zhǔn)化對降噪的影響，結(jié)果表明，標(biāo)準(zhǔn)化對降噪效果的影響很小，由標(biāo)準(zhǔn)化造成的k值計(jì)算誤差對降噪效果的影響更大。利用該方法對2011年4個(gè)季度中具有代表性的數(shù)據(jù)做降噪處理，反演的溫度廓線均方根誤差相比于經(jīng)驗(yàn)公式法在0.32～3 km高度上提高了約0.1 K，與利用等效噪聲光譜標(biāo)準(zhǔn)化后的降噪數(shù)據(jù)的反演結(jié)果精度相當(dāng)。在無法獲取等效噪聲光譜數(shù)據(jù)情況下，該方法可以客觀合理地對地基紅外高光譜數(shù)據(jù)進(jìn)行降噪。

高光譜降噪；累積方差百分比；標(biāo)準(zhǔn)化；牛頓非線性迭代

引 言

在過去的幾十年中，科學(xué)家們研發(fā)了多種新的儀器來探測大氣的溫度、濕度和風(fēng)的信息。其中，地基紅外高光譜分辨率傅里葉變換光譜儀(如美國威斯康辛大學(xué)研發(fā)的AERI，atmospheric emitted radiance interferometer)能夠提供分辨率小于1 cm-1的下行紅外輻射數(shù)據(jù)[1]，包含有豐富的大氣廓線、氣溶膠、云以及其他重要的大氣參數(shù)信息，在探測邊界層大氣溫濕廓線方面具有獨(dú)到的優(yōu)勢[2]。但是探測通道的增加，也使得數(shù)據(jù)中的冗余信息和噪聲信息增多[3]。在利用觀測數(shù)據(jù)反演大氣狀態(tài)參量信息時(shí)，由于輻射傳輸方程的高度非線性，使得高光譜紅外輻射中的噪聲在反演時(shí)被放大，導(dǎo)致反演精度的下降甚至不穩(wěn)定[4]。因此降低觀測數(shù)據(jù)中的噪聲水平是提高反演精度和反演穩(wěn)定性的重要環(huán)節(jié)。常用的降噪方法大都是基于平滑的方法進(jìn)行處理，雖然平滑的方法可以去除觀測數(shù)據(jù)中的高頻噪聲，但是會犧牲觀測數(shù)據(jù)的時(shí)間分辨率并且平滑掉一部分的有效信號，造成信號失真[5]。同時(shí)，為捕捉儀器上空大氣的對流運(yùn)動，往往需要增加儀器探測的時(shí)間分辨率，此時(shí)通過滑動平均來提高觀測數(shù)據(jù)的信噪比的方法不再適用。

目前，對于高光譜數(shù)據(jù)的降噪常用主成分分析法[6]。該方法利用光譜通道之間的高度相關(guān)性來降低觀測數(shù)據(jù)中的非相關(guān)噪聲[7]，從而提高輻射光譜的信噪比。相比基于平滑的降噪方法，主成分降噪法能夠保留觀測數(shù)據(jù)中絕大部分的有效信息，并且不影響其時(shí)間分辨率和光譜分辨率。利用主成分分析法降噪最先應(yīng)用在星載遙感探測器上并獲得了快速的發(fā)展，如掃描高分辨率干涉儀(S-HIS)和大氣紅外探測器(IASI)[8]；Turner第一次將主成分降噪方法應(yīng)用在地基紅外高光譜遙感探測器AERI上，對美國大氣輻射測量(atmospheric radiation measurement，ARM)計(jì)劃中的輻射光譜數(shù)據(jù)進(jìn)行降噪處理，取得了較好的效果[7]。

利用主成分分析法降噪首要的問題是確定最優(yōu)的主成分個(gè)數(shù)k[5]，使得重構(gòu)數(shù)據(jù)中的噪聲顯著降低，同時(shí)又保留了觀測數(shù)據(jù)中絕大部分的有效信息。目前，還沒有一種解析的方法給出準(zhǔn)確的k值，在實(shí)際應(yīng)用中大都是根據(jù)統(tǒng)計(jì)和經(jīng)驗(yàn)的方法來確定。其中，應(yīng)用較多的是累積方差百分比法，該方法通過對歷史觀測輻射數(shù)據(jù)做SVD分解，計(jì)算分解得到的特征值的累積貢獻(xiàn)率，通過給定一個(gè)接近于1的閾值來確定k的大小。但是該方法閾值的確定都是人為地設(shè)定，具有較大的主觀性和隨意性，從而限制了該方法的應(yīng)用[7]。

Turner將化學(xué)分析領(lǐng)域確定最優(yōu)主成分個(gè)數(shù)的方法引入到光譜降噪中，利用經(jīng)驗(yàn)公式計(jì)算混合在真實(shí)信號中的相關(guān)噪聲，由于該噪聲的大小與使用的主成分個(gè)數(shù)有關(guān)，相關(guān)噪聲達(dá)到最小時(shí)對應(yīng)的主成分個(gè)數(shù)即為最優(yōu)的k值[7]。當(dāng)觀測數(shù)據(jù)的噪聲滿足高斯分布時(shí)，經(jīng)驗(yàn)公式法的計(jì)算結(jié)果較好，此時(shí)需要利用NESR數(shù)據(jù)對觀測數(shù)據(jù)做標(biāo)準(zhǔn)化處理將其中的噪聲均勻化。NESR是輻射定標(biāo)公式的虛部[9]

(1)

其中C是觀測得到的復(fù)數(shù)光譜，通過對干涉圖像做傅里葉變換得到；B是由黑體的輻射率光譜和普朗克公式計(jì)算得到，但是這些原始數(shù)據(jù)很多情況下很難獲取，導(dǎo)致無法將原始數(shù)據(jù)中的噪聲轉(zhuǎn)化為高斯噪聲，此時(shí)利用該方法計(jì)算的最優(yōu)主成分個(gè)數(shù)就會出現(xiàn)誤差。

根據(jù)以上兩種方法的優(yōu)缺點(diǎn)，提出了一種改進(jìn)的累積方差百分比法(Improved PCV)，該方法基于模擬輻射數(shù)據(jù)計(jì)算累積方差百分比閾值，通過閾值確定最優(yōu)主成分個(gè)數(shù)，無需利用實(shí)時(shí)的NESR數(shù)據(jù)。首先，介紹了主成分分析法降噪方案，并闡述了利用Improved PCV計(jì)算最優(yōu)主成分個(gè)數(shù)的具體過程；然后分析了數(shù)據(jù)的標(biāo)準(zhǔn)化以及最優(yōu)主成分個(gè)數(shù)計(jì)算誤差對反演的影響；最后，利用Improved PCV方法對2011年四個(gè)季度晴空輻射觀測數(shù)據(jù)進(jìn)行了降噪處理，并將該方法的反演結(jié)果和經(jīng)驗(yàn)公式法的結(jié)果進(jìn)行了對比。

1 Improved PCV降噪方案

Improved PCV降噪方案是將模擬輻射光譜作為大氣的“真值”[3]，通過迭代計(jì)算選取不同主成分時(shí)重構(gòu)輻射與模擬輻射的偏差來確定PCV法的閾值。選用美國大氣和環(huán)境研究公司開發(fā)的逐線積分輻射傳輸模式(LBLRTM)計(jì)算模擬輻射光譜。LBLRTM是一種精確、靈活、高效的輻射傳輸模式[10]，在實(shí)際的計(jì)算中，該模式的計(jì)算精度接近0.5%。算法造成的計(jì)算誤差是譜線參數(shù)和線型誤差的五分之一左右，具有較高的精度。在此條件下，該方法的流程圖如圖1所示，具體步驟如下：

第一步： 根據(jù)總天空成像儀(total sky imager，TSI)獲取的全天空云圖，從歷史觀測輻射和探空數(shù)據(jù)中挑選出Mtr個(gè)晴空輻射光譜和溫濕廓線，組成晴空數(shù)據(jù)樣本集。計(jì)算樣本集中觀測輻射協(xié)方差矩陣M，并做SVD分解

M=URVT

(2)

其中R是包含Nc個(gè)特征值λ的對角矩陣，Nc是觀測輻射中通道個(gè)數(shù)，U的列是與R的特征值對應(yīng)的特征向量，又稱為主成分。

第二步： 從矩陣U中選取前q個(gè)主成分組成矩陣P，根據(jù)公式

(3)

計(jì)算出投影系數(shù)，其中i=1，…，Mtr，j=1，…，q。

第三步： 投影系數(shù)乘以矩陣P的轉(zhuǎn)置，將其重構(gòu)到輻射空間

(4)

其中，i=1，…，Mtr；j=1，…，Nc。

(5)

l從1到Nc逐漸增加，對應(yīng)的偏差值隨著選用主成分個(gè)數(shù)的變化而改變，當(dāng)偏差達(dá)到最小值時(shí)對應(yīng)的l即為該條觀測輻射R的最優(yōu)主成分個(gè)數(shù)k。

第五步： 計(jì)算觀測樣本集中每條觀測輻射的最優(yōu)k值并利用公式

(6)

計(jì)算出PCV大小，對PCV取平均得到閾值。

第六步： 根據(jù)閾值計(jì)算出最優(yōu)主成分個(gè)數(shù)k，對于一組新的觀測數(shù)據(jù)，重復(fù)第二和第三步步驟，即可實(shí)現(xiàn)觀測數(shù)據(jù)的降噪。

圖1 降噪方案流程圖

2 降噪效果評估

2.1 數(shù)據(jù)簡介

反演使用的輻射數(shù)據(jù)是2010年和2011年ARM計(jì)劃中南部大平原(southern great plains，SGP)站點(diǎn)的AERI觀測的輻射數(shù)據(jù)。AERI是由美國威斯康辛大學(xué)研發(fā)的地基高光譜探測儀，它通過兩個(gè)探測器觀測520～3 020 cm-1的干涉圖像，根據(jù)傅里葉變換將干涉圖像轉(zhuǎn)化為輻射光譜。之后利用高溫黑體和環(huán)境黑體對觀測輻射做定標(biāo)處理，能夠獲得觀測周期為8 min精度達(dá)到1%的下行紅外輻射數(shù)據(jù)[9]。

但是，由于儀器上方的大氣活動以及視場鏡的轉(zhuǎn)換等因素導(dǎo)致觀測數(shù)據(jù)中包含有較多的誤差，這部分誤差大致包括兩個(gè)部分： 儀器噪聲和系統(tǒng)偏差。前一部分可以通過主成分分析等濾波方法進(jìn)行抑制；對于后者，一般通過計(jì)算晴空條件下觀測輻射光譜和模擬輻射的偏差獲取[3]，在降噪之前減去這部分系統(tǒng)偏差即可。其中模擬輻射光譜的計(jì)算是將與觀測輻射對應(yīng)的探空廓線放入逐線積分輻射傳輸模式LBLRTM計(jì)算得到，通過SGP站點(diǎn)的TSI圖像從2011年的輻射數(shù)據(jù)中挑選了105個(gè)晴空樣本數(shù)據(jù)，利用LBLRTM計(jì)算出這兩年的晴空模擬輻射，通過計(jì)算其與觀測輻射偏差的平均值就可以得到儀器的系統(tǒng)偏差。

2.2 評估方法

對于地基紅外高光譜數(shù)據(jù)降噪而言，其目的是減小在反演過程中因誤差反傳造成的反演偏差和不穩(wěn)定。因此，根據(jù)物理反演溫度廓線的精度來評估不同去噪方法的降噪效果是比較客觀合理的。其中，溫度廓線的反演方法采用牛頓非線性迭代法，反演的波段采用的是612～712和2 223～2 260 cm-1兩個(gè)CO2吸收帶[2]。

牛頓非線性迭代法的求解形式如下[11]

(Ym-Y(Xn)+Fn(Xn-X0))

(7)

其中Ym是觀測輻射向量，X是要反演的溫度廓線，X0是初始溫度廓線，Y(X)是利用輻射傳輸模式計(jì)算的輻射值，γ是正則化算子，E是觀測誤差協(xié)方差矩陣，B是背景誤差協(xié)方差矩陣。對于正則化算子γ，采用AERIoe中的向量法，取為[1000 300 100 30 10 3 1][12]。

在觀測輻射數(shù)據(jù)中，和溫度有關(guān)的信息絕大部分在2 km以下，因此牛頓非線性迭代法的反演高度一般不超過3 km；由于使用的數(shù)據(jù)位于SGP站點(diǎn)，其海拔高度為320 m，所以反演溫度廓線的高度范圍在0.32～3 km之間，在反演時(shí)將該部分大氣按照垂直分辨率由高到低的方式分為19層。

2.3 降噪結(jié)果分析

(1)NESR對降噪效果的影響

在無法獲取實(shí)時(shí)的NESR數(shù)據(jù)情況下，此時(shí)無法做標(biāo)準(zhǔn)化處理。而數(shù)據(jù)的標(biāo)準(zhǔn)化會改變觀測數(shù)據(jù)中的噪聲分布，對溫度廓線的反演結(jié)果和最優(yōu)主成分個(gè)數(shù)的確定都會產(chǎn)生影響。如果標(biāo)準(zhǔn)化對反演的結(jié)果影響較大，在不做標(biāo)準(zhǔn)化的條件下，無論k值計(jì)算多么精確，都無法提高大氣溫度廓線的反演精度。

采用控制變量的方法對標(biāo)準(zhǔn)化的影響程度進(jìn)行分析，首先，通過固定所選取的主成分個(gè)數(shù)k分析數(shù)據(jù)的標(biāo)準(zhǔn)化對反演精度的影響。其中k是在標(biāo)準(zhǔn)化的條件下通過經(jīng)驗(yàn)公式法計(jì)算因素指標(biāo)函數(shù)(factor indicator function，IND)

(8)

它表示利用k個(gè)主成分降噪后保留在觀測數(shù)據(jù)中的噪聲，可見IND值越小，降噪效果越好，最小的IND值對應(yīng)的k即為最優(yōu)的主成分個(gè)數(shù)[7]。圖2是利用2010年和2011年的晴空輻射數(shù)據(jù)計(jì)算得到的不同k值的IND圖像，其中Nc表示所選用波段的通道個(gè)數(shù)。如圖中星號所示，在k取12時(shí)IND值達(dá)到了最小，表明在選用12個(gè)主成分降噪時(shí)殘留在觀測數(shù)據(jù)中的噪聲最小，此時(shí)k=12即為最優(yōu)的主成分個(gè)數(shù)。而在不進(jìn)行標(biāo)準(zhǔn)化的情況下，利用經(jīng)驗(yàn)公式法對2010年和2011年的晴空輻射數(shù)據(jù)做降噪處理，在k=8時(shí)IND取得最小值，相比于標(biāo)準(zhǔn)化情況下的k=12偏小。

圖2 k取1到Nc時(shí)的IND值

接下來利用牛頓非線性迭代法分析標(biāo)準(zhǔn)化對降噪以及最優(yōu)主成分個(gè)數(shù)選擇的影響。選取2011年9組具有代表性的數(shù)據(jù)進(jìn)行分析： 首先，固定k值等于12，分析做標(biāo)準(zhǔn)化處理和不做標(biāo)準(zhǔn)化處理時(shí)的反演結(jié)果；其次，k分別取為8和12，在進(jìn)行標(biāo)準(zhǔn)化的條件下計(jì)算二者的降噪效果。圖3是取不同k值以及不同標(biāo)準(zhǔn)化條件下的溫度廓線反演結(jié)果圖像，其中紅色實(shí)線表示標(biāo)準(zhǔn)化時(shí)取k=12反演的溫度廓線的均方根誤差(root-mean-square error，RMSE)，黑色實(shí)線表示標(biāo)準(zhǔn)化時(shí)取k=8的反演結(jié)果，藍(lán)色星號線表示不做標(biāo)準(zhǔn)化的情況下k取12時(shí)的反演結(jié)果。可以看出，觀測數(shù)據(jù)的標(biāo)準(zhǔn)化本身對反演結(jié)果的影響較小，而由標(biāo)準(zhǔn)化造成的主成分個(gè)數(shù)計(jì)算不準(zhǔn)確對反演結(jié)果影響更大。

圖3 數(shù)據(jù)標(biāo)準(zhǔn)化對溫度廓線反演精度的影響

(2)降噪方法結(jié)果分析

在沒有NESR的情況下，采用Improved PCV法確定最優(yōu)的主成分個(gè)數(shù)。選取2011年SGP站點(diǎn)27個(gè)晴空觀測輻射和溫濕廓線作為樣本集，利用LBLRTM計(jì)算與之對應(yīng)的模擬輻射，從而得到了27個(gè)觀測樣本的最佳主成分個(gè)數(shù)k和累積方差百分比，取其累積方差百分比的平均值得到閾值0.999 945 971。利用該方法對2011年10月20日的溫度廓線進(jìn)行反演，在上述閾值條件下其最優(yōu)主成分個(gè)數(shù)取為27，圖4是利用該方法對2011年10月20日17:30分的數(shù)據(jù)做降噪處理后在0.32～3 km的高度上溫度廓線的反演結(jié)果，其中黑色實(shí)線為初始溫度廓線，紅色實(shí)線表示探空數(shù)據(jù)，藍(lán)色實(shí)線為去除系統(tǒng)偏差后的反演結(jié)果，黑色帶星號實(shí)線表示利用Improved PCV方法的反演結(jié)果?？梢钥闯?，降噪后的溫度反演精度要明顯優(yōu)于不做降噪處理的反演結(jié)果，表明該方法能夠很好地降低觀測數(shù)據(jù)中的噪聲水平。

圖4 利用改進(jìn)PCV方法降噪的反演結(jié)果

為驗(yàn)證該方法的可靠性，對上述的9組晴空觀測輻射數(shù)據(jù)利用主成分分析法做降噪處理，其中閾值的選擇分別根據(jù)經(jīng)驗(yàn)法和累積方程百分比法獲取。結(jié)果如圖5所示，其中實(shí)線表示在標(biāo)準(zhǔn)化條件下利用經(jīng)驗(yàn)公式法降噪后反演的溫度廓線RMSE值，虛線表示不做標(biāo)準(zhǔn)化時(shí)利用Improved PCV法降噪后的反演結(jié)果。除0.5～1 km高度外，利用PCV方法的降噪結(jié)果與標(biāo)準(zhǔn)化條件下經(jīng)驗(yàn)公式法的反演精度相當(dāng)，相比于不做標(biāo)準(zhǔn)化時(shí)的經(jīng)驗(yàn)公式法精度提高約0.1 K。因此在無法獲取準(zhǔn)確的NESR數(shù)據(jù)時(shí)，可以利用Improved PCV閾值確定方法對觀測數(shù)據(jù)做降噪處理。

圖5 經(jīng)驗(yàn)公式法與Improved PCV方法反演的

Fig.5 The RMSE of the retrieval temperature profiles of the factor indicator function method and the Improved PCV method

3 結(jié) 論

在高光譜數(shù)據(jù)降噪中，主成分分析法將高度相關(guān)的觀測數(shù)據(jù)分解，通過選取一定個(gè)數(shù)的主成分重構(gòu)到輻射空間以達(dá)到去噪的目的。在觀測數(shù)據(jù)中的噪聲滿足高斯分布的條件下，利用經(jīng)驗(yàn)公式法計(jì)算的最優(yōu)主成分個(gè)數(shù)能夠很好地降低噪聲水平。但是很多情況下無法獲取準(zhǔn)確的NESR數(shù)據(jù)，導(dǎo)致無法通過標(biāo)準(zhǔn)化步驟將噪聲轉(zhuǎn)化為高斯分布。通過分析標(biāo)準(zhǔn)化對物理反演結(jié)果和最優(yōu)主成分個(gè)數(shù)計(jì)算的影響，提出了一種利用模擬輻射光譜確定閾值的累積方差百分比法，并利用牛頓非線性迭代反演法評估降噪效果，拓展了PCA方法的使用范圍。

具體結(jié)論如下：

(1)標(biāo)準(zhǔn)化對降噪的影響主要體現(xiàn)在兩個(gè)方面，一是在經(jīng)驗(yàn)公式法選取最優(yōu)主成分個(gè)數(shù)k時(shí)，缺少標(biāo)準(zhǔn)化步驟使得該方法無法正確的給出k值，從而對反演的結(jié)果造成一定的影響。二是噪聲的分布不均對反演結(jié)果造成一定的影響。根據(jù)控制變量法對2011年9組晴空輻射數(shù)據(jù)做降噪處理，分析其反演結(jié)果的RMSE值，結(jié)果表明數(shù)據(jù)的標(biāo)準(zhǔn)化對反演精度的影響很小，且小于由標(biāo)準(zhǔn)化導(dǎo)致的k值計(jì)算誤差對反演造成的影響。

(2)利用Improved PCV選取最優(yōu)主成分的降噪效果與經(jīng)驗(yàn)公式法相當(dāng)。利用經(jīng)驗(yàn)公式法對2010年和2011年兩年的晴空觀測數(shù)據(jù)進(jìn)行計(jì)算，在進(jìn)行標(biāo)準(zhǔn)化條件下k=12時(shí)IND值達(dá)到最小。在無法獲取準(zhǔn)確噪聲光譜時(shí)，利用基于模擬輻射光譜確定累積方差百分比閾值的新方法，在k取27的時(shí)候模擬輻射光譜和觀測輻射的偏差最小，此時(shí)利用該方法降噪反演的溫度廓線的RMSE值與標(biāo)準(zhǔn)化條件下經(jīng)驗(yàn)公式法反演結(jié)果的精度相當(dāng)。因此在無法獲取準(zhǔn)確的NESR的條件下，可以使用基于模擬輻射確定PCV閾值的方法做降噪處理。

[1] Turner D D, Feltz W F, Ferrare R A. Bulletin of the American Meteorological Society，2000，81(6): 1301.

[2] Smith W L, Feltz W F, Knuteson R O, et al. Journal of Atmospheric and Oceanic Technology，1999，16(2-3): 323.

[3] Kang S, Goo T, Ou M. Journal of Atmospheric and Oceanic Technology，2013，30(7): 1433.

[4] Rodgers C D. Inverse Methods for Atmospheric Sounding: Theory and Practice. Singapore: World Scientific, 2000.

[5] Antonelli P. Journal of Geophysical Research，2004，109(D23)： 102(DOI： 10.1029/2004JD004862).

[6] Huang H, Antonelli P. Journal of Applied Meteorology，2001，40(3): 365.

[7] Turner D D, Knuteson R O, Revercomb H E, et al. Journal of Atmospheric and Oceanic Technology，2006，(9): 1223.

[8] Aires F, Rossow W B, Scott N A, et al. Journal of Geophysical Research，2002, 107(D22): 4619, DOI: 10.1029/2001JD000955.

[9] Knuteson R O, Revercomb H E, Best F A, et al. Journal of Atmospheric and Oceanic Technology，2004，(12): 1777.

[10] CHEN Xiu-hong, WEI He-li(陳秀紅，魏合理). Journal of Atmospheric and Environmental Optics(大氣與環(huán)境光學(xué)學(xué)報(bào)), 2007, 2(2): 99.

[11] LI Jun, ZENG Qing-cun(李 俊，曾慶存). Chinese Journal of Atmospheric Sciences(大氣科學(xué))，1997，21(2): 214.

[12] Turner D D, L?hnert U. Journal of Applied Meteorology and Climatology，2014，(3): 752.

(Received Feb. 10, 2016; accepted May 12, 2016)

*Corresponding author

Research on the Noise Reduction with Hyper-Resolution Infrared Spectrum Based on Improved PCV Method

HUANG Wei, GAO Tai-chang*, LIU Lei，LI Shu-lei

College of Meteorology and Oceanography, the PLA University of Science and Technology, Nanjing 211101, China

The noise reduction with observed high resolution infrared radiance is crucial to improve the accuracy and stability of the retrieval of thermodynamic profiles. When applying the principal component analysis noise filter algorithm to the observed radiance, the optimal numberkof principal components that used in the algorithm was mostly calculated with the statistical and empirical method. The percent cumulative variance method is one of the statistical methods that have been commonly used to calculatek, however, the threshold of the percent cumulative variance was determined subjectively and arbitrarily, which limits the application of this method. While the empirical method need the real-time Noise-Equivalent Spectral Radiance (NESR) to normalize non uniform noise in the observed data, but the real-time NESR needs the raw data of complex spectrum which is not easy to obtain in most cases. Aiming at the solving the problems above, a PCA noise filter based on the Improved PCV algorithm is proposed, of which the threshold is determined by iteratively calculating the difference between the simulated and reconstructed spectrum using different principal components, wherebykis determined such that the PCV is larger than the threshold. The new method solves the problem of arbitrary of the determination ofk, and at the same time it doesn’t need the real-time NESR to normalize the observed radiance. First, the impact of normalization on the noise reduction is analyzed using physical retrieval of temperature profiles; the result shows that the impact is very small, which less than the impact of calculation error ofkis caused by normalization on the retrieval of temperature profiles. Then, the noise reduction of the representative radiance data which covers four quarters of 2011 shows that, the RMSE of the retrieved temperature profile using the Improved PCV method is improved by 0.1 K compared to the factor indicator function method when the real-time NESR is not available, and it is almost the same with the latter when the normalization is done. Under the condition that the NESR is not available, the method proposed in this article could objectively and reasonably reduce the noise level of the ground-based high resolution infrared radiance.

Noise reduction of hyper-spectral; PCV method; Normalization; Newtonian nonlinear iteration retrieval technique

2016-02-10，

2016-05-12

國家自然科學(xué)基金項(xiàng)目(41575024)資助

黃 威，1992年生，解放軍理工大學(xué)氣象海洋學(xué)院碩士研究生 e-mail: huangwei_edu@sina.com *通訊聯(lián)系人 e-mail: 2009gaotc@gmail.com

TP72

A

10.3964/j.issn.1000-0593(2016)11-3625-05