王 凱,王菊香,劉 潔,朱長(zhǎng)波
(海軍航空工程學(xué)院a.研究生管理大隊(duì);b.飛行器工程系,山東煙臺(tái)264001)
矩陣的奇異值分解在紅外光譜預(yù)處理中的應(yīng)用
王 凱a,王菊香b,劉 潔b,朱長(zhǎng)波a
(海軍航空工程學(xué)院a.研究生管理大隊(duì);b.飛行器工程系,山東煙臺(tái)264001)
研究了矩陣的奇異值分解在紅外光譜預(yù)處理中的應(yīng)用。對(duì)奇異值序列,采用間距最大最高峰原則,選擇有效秩的階次;對(duì)原始光譜進(jìn)行奇異值降噪處理、一階微分處理,用相關(guān)系數(shù)法選擇建模譜段為3 100~2 650cm-1和1 600~1 250cm-1;采用PLS法建立運(yùn)動(dòng)粘度的校正模型,并與卷積平滑等預(yù)處理方法進(jìn)行比較。模型校正集的相關(guān)系數(shù)(Rc)為0.977 9,標(biāo)準(zhǔn)偏差SEC為0.100 5,預(yù)測(cè)集的相關(guān)系數(shù)(RP)為0.941 2,標(biāo)準(zhǔn)偏差SEP為0.154 7。研究結(jié)果表明:奇異值分解和一階微分相結(jié)合可有效去除光譜噪聲和基線漂移的干擾,提高PLS分析模型的準(zhǔn)確度。
奇異值分解;紅外光譜;預(yù)處理;潤(rùn)滑油;運(yùn)動(dòng)粘度
紅外光譜分析技術(shù)作為一種現(xiàn)代分析技術(shù),具有分析速度快、靈敏度高、分辨率高、譜圖所含的信息量大、吸收峰譜帶窄等優(yōu)點(diǎn),近年來在用油的定量檢測(cè)中應(yīng)用越來越廣泛。通常,光譜儀在檢測(cè)光譜信號(hào)時(shí),會(huì)由于操作環(huán)境、儀器本身等原因而使信號(hào)包含各種噪聲。為了準(zhǔn)確定量檢測(cè)樣品的各項(xiàng)指標(biāo),需要對(duì)原始光譜進(jìn)行預(yù)處理,以降低噪聲,減少或消除各種非目標(biāo)因素的影響,簡(jiǎn)化后續(xù)建模處理的運(yùn)算過程,提高校正模型的預(yù)測(cè)能力和穩(wěn)健性[1-2]。奇異值分解降噪是一種非線性濾波方法,可以有效消除信號(hào)中的隨機(jī)噪聲,得到相對(duì)純凈的信號(hào)[3-4]。本文以某型特種車輛發(fā)動(dòng)機(jī)在用潤(rùn)滑油100℃運(yùn)動(dòng)粘度測(cè)定為例,探討了奇異值分解降噪對(duì)PLS建模結(jié)果的影響,并與其他光譜預(yù)處理方法進(jìn)行比較,找到了適合用紅外光譜定量分析100℃運(yùn)動(dòng)粘度的最佳預(yù)處理方法。
1.1 儀器和試劑
實(shí)驗(yàn)儀器為便攜式傅立葉變換ATR紅外光譜儀Interspec 300-X;光譜掃描范圍為 4 000~500cm-1,分辨率為2cm-1;深色石油產(chǎn)品運(yùn)動(dòng)粘度測(cè)定儀HCR-4100,逆流式粘度計(jì),恒溫浴液體選用甘油。
1.2 樣品采集和基礎(chǔ)數(shù)據(jù)測(cè)定
實(shí)驗(yàn)用樣品為某特種車輛發(fā)動(dòng)機(jī)在用柴油機(jī)油,牌號(hào)15W-40CF-4。采集不同行駛里程、不同車輛的柴油機(jī)油樣品39個(gè)。按GB/T 11137標(biāo)準(zhǔn)要求測(cè)定39個(gè)樣品的100℃運(yùn)動(dòng)粘度[5-6],粘度值在9.5~14.6mm2/s。
1.3 光譜數(shù)據(jù)的測(cè)定
儀器預(yù)熱1 h,不加樣品情況下掃描10次取平均值,設(shè)為空白參比。用滴管吸取少量樣品滴2~3滴在檢測(cè)臺(tái)上,掃描10次取平均值,依次測(cè)定39個(gè)樣品的紅外光譜,見圖1。
1.4 模型建立
選取粘度分布均勻的30個(gè)樣品作為校正集樣品,其余9個(gè)作為預(yù)測(cè)集樣品。對(duì)光譜進(jìn)行奇異值分解降噪預(yù)處理研究,用相關(guān)系數(shù)法選擇建模光譜區(qū)間,并進(jìn)行PLS建模。采用校正標(biāo)準(zhǔn)偏差(SEC)和預(yù)測(cè)標(biāo)準(zhǔn)偏差(SEP)對(duì)模型進(jìn)行評(píng)價(jià)[7]。
矩陣的奇異值去噪原理是根據(jù)純凈信號(hào)和噪聲的能量可分性,對(duì)含噪信號(hào)構(gòu)成的矩陣進(jìn)行分解,去除代表噪聲的奇異值,從而達(dá)到去噪的目的[8]。具體的步驟[9]如下。
步驟1:相空間的重構(gòu)。假設(shè)所要分析的含噪信號(hào)矢量為Y=(y1,y2,…,yN)。利用相空間重構(gòu)理論,重構(gòu)吸收子軌跡矩陣:
式(1)中:m為嵌入維數(shù);n=N-m+1,N為信號(hào)長(zhǎng)度。
A為m×n階的Hankel矩陣,表征重構(gòu)吸收子在重構(gòu)相空間的演化特征,亦可以表示成A=P+Q,其中:P為純凈信號(hào)構(gòu)成的m×n階Hankel矩陣;Q為噪聲信號(hào)構(gòu)成的m×n階的Hankel矩陣。
步驟2:矩陣的奇異值分解。對(duì)步驟1構(gòu)造的Hankel矩陣A進(jìn)行奇異值分解:
式(2)中:r為非零奇異值的個(gè)數(shù);U和V為正交矩陣;S為按降序排列的對(duì)角矩陣,對(duì)角線元素為矩陣A的奇異值,其集合稱為矩陣A的奇異值譜。
步驟3:奇異值有效秩的確定。奇異值分解降噪是確定奇異值有效軼階的關(guān)鍵問題之一。若前p個(gè)較大的奇異值反映了信號(hào)的主要能量,后r-p個(gè)較小的奇異值反映了噪聲信息,則將p確定為有效秩的階次,按照式(2)重新構(gòu)造矩陣A的逼近矩陣Ap,即去除噪聲干擾的信號(hào)分量所貢獻(xiàn)的矩陣。
步驟4:信號(hào)的重構(gòu)。根據(jù)確定的奇異值有效秩的階次,將代表噪聲信號(hào)的奇異值去掉,再對(duì)新的對(duì)角矩陣進(jìn)行奇異值分解的逆運(yùn)算即可實(shí)現(xiàn)信號(hào)的重構(gòu)。即將矩陣Ap變換為長(zhǎng)度序列為N的信號(hào)矢量。
3.1 奇異值降噪預(yù)處理
3.1.1 嵌入維數(shù)選取
在選取嵌入維數(shù)m時(shí),文獻(xiàn)[10-12]指出:當(dāng)N為奇數(shù)時(shí),m取中值;當(dāng)N為偶數(shù)時(shí),m=N/2。4 000~500cm-1之間的光譜有10 881個(gè)光譜變量,故嵌入維數(shù)m取中值5 441。
3.1.2 有效秩的階次選擇
奇異值分解降噪的本質(zhì)是根據(jù)奇異值的大小關(guān)系對(duì)有效秩的階次進(jìn)行選取。
選擇某單一樣品的原始紅外光譜數(shù)據(jù)進(jìn)行奇異值分解,得到奇異值對(duì)角矩陣,做出奇異值的變化曲線,見圖2。由圖2可見,奇異值曲線趨勢(shì)突變的肘部在階次16附近,該位置是有用信號(hào)與噪聲信號(hào)的過渡位置,在其左側(cè),奇異值迅速變小呈瀑布式下跌分布,反映的是有用信號(hào);在其右側(cè),奇異值緩慢變小,呈直線分布,反映的是噪聲。
為了觀察奇異值序列的具體變化情況,進(jìn)一步選擇合適的階次,一般對(duì)圖2的曲線進(jìn)行一階微分處理,見圖3。當(dāng)2個(gè)相鄰的奇異值差別越大時(shí),它們?cè)谖⒎肿V中所表現(xiàn)出的特征也就越明顯,它們之間產(chǎn)生的峰值也就越大[13]。而這些峰值往往指示著重要的狀態(tài)信息,因而應(yīng)該格外關(guān)注這些峰值點(diǎn)。但并不意味著最高峰值點(diǎn)對(duì)應(yīng)的階次就是最合適的,這些較高的峰值是由于有用信號(hào)與噪聲信號(hào)的不相關(guān)而導(dǎo)致的。
在奇異值序列的微分譜中,尋找相鄰2個(gè)峰值的最大間距,選擇較高峰值對(duì)應(yīng)的階次作為重構(gòu)信號(hào)的有效秩階次,從而完成有用信號(hào)的重構(gòu)和對(duì)噪聲的消除[14]。由圖3可見,從階次15到階次21,峰值急劇下降,這2個(gè)峰值點(diǎn)的間距達(dá)到最大,說明階次取15奇異值序列的變化很大。而在階次15以后,微分譜迅速下降到0值附近并逐漸收斂于0,說明此處的奇異值變化微小。故有效秩的階次選擇15。
對(duì)其余38個(gè)樣品的光譜數(shù)據(jù)分別進(jìn)行奇異值分解,并做微分處理。各微分譜圖在不同階次的峰值大小雖有所不同,但間距最大的峰值點(diǎn)均為15。
3.1.3 有效性的驗(yàn)證
為了驗(yàn)證選擇15階次的可靠性,將階次15相鄰的2個(gè)峰值即階次13和21分別作為有效秩階次,用全譜段進(jìn)行PLS建模分析,見表1。從表1可以看出,根據(jù)間距最大最高峰原則選擇的有效秩階次15進(jìn)行降噪,校正標(biāo)準(zhǔn)偏差要比其相鄰峰值點(diǎn)階次效果好。
表1 不同階次處理下的校正偏差Tab.1 Correcting deviation of different order
3.2 一階微分處理
為校正譜圖的基線漂移,對(duì)其進(jìn)行一階微分處理,見圖4。根據(jù)校正集的標(biāo)準(zhǔn)偏差SEC確定微分窗口的最佳點(diǎn)數(shù)為25。
3.3 光譜區(qū)間的選取
如圖5所示,在1 550cm-1附近相關(guān)性達(dá)到最大0.8,3 100~2 650cm-1區(qū)域的相關(guān)性較大,達(dá)到0.5。故選擇 3 100~2 650cm-1和1 600~1 250cm-1區(qū)間變量作為建模變量。
3.4 光譜建模分析
對(duì)所有樣品的原始光譜進(jìn)行奇異值分解降噪和一階微分處理,選擇波段 3 100~2 650cm-1和1 600~1 200cm-1,采用偏最小二乘法對(duì)運(yùn)動(dòng)粘度建模,采用留一交互驗(yàn)證法選擇最佳主因子數(shù)[15]。圖6所示:當(dāng)主因子數(shù)為7時(shí)達(dá)到最佳。用建立的模型對(duì)校正集和預(yù)測(cè)集的粘度進(jìn)行預(yù)測(cè),得到標(biāo)準(zhǔn)值和預(yù)測(cè)值的相關(guān)圖,見圖7。模型校正集的相關(guān)系數(shù)(Rc)為0.977 9,標(biāo)準(zhǔn)偏差SEC為0.100 5,預(yù)測(cè)集的相關(guān)系數(shù)(Rp)為0.941 2,標(biāo)準(zhǔn)偏差SEP為0.154 7。
3.5 與其他預(yù)處理方法比較
為比較奇異值分解降噪效果,對(duì)光譜分別進(jìn)行了9點(diǎn)卷積平滑[16-17]、25點(diǎn)一階微分處理[18]PLS建模,結(jié)果見表2。
表2 各預(yù)處理光譜PLS建模校正和預(yù)測(cè)結(jié)果Tab.2 Results of correction and prediction in PLS mode under different preprocessing
可以看出,奇異值分解降噪效果優(yōu)于卷積平滑,平滑或奇異值分解聯(lián)合一階微分預(yù)處理建模效果更佳。平滑加一階微分與奇異值加一階微分相比,二者的校正效果差別不大,但預(yù)測(cè)集的標(biāo)準(zhǔn)偏差相差較大,后者的準(zhǔn)確度更高,說明該預(yù)處理下模型的泛化能力較強(qiáng)。
運(yùn)用奇異值分解降噪對(duì)在用潤(rùn)滑油原始紅外光譜進(jìn)行預(yù)處理研究,根據(jù)間距最大最高峰原則,選擇15為有效秩階次,降噪后經(jīng)一階微分處理進(jìn)行PLS建模。結(jié)果表明:PLS建模主成分選擇7,Hankel矩陣嵌入維數(shù)選擇N的中值,有效秩階次選取15點(diǎn),微分窗口選擇25點(diǎn),建立的模型預(yù)測(cè)外來樣品的精度最高,預(yù)測(cè)效果要好于平滑加一階微分和單純奇異值降噪,預(yù)測(cè)集相關(guān)性達(dá)到0.941 2,SEP達(dá)到0.154 7,模型的泛化能力增強(qiáng)。
[1]張銀,周孟然.近紅外光譜分析技術(shù)的數(shù)據(jù)處理方法[J].紅外技術(shù),2007,29(6):345-348.ZHANG YIN,ZHOU MENGRAN.Data processing method of near infrared spectrum analysis technique[J].Infrared Technology,2007,29(6):345-348.(in Chinese)
[2]ASTM E2412-04 Standard practice for condition monitoring of used lubricants by trend analysis using fourier transform infrared spectrometry[S].Pennsylvania:ASTM Committee,2004.
[3]張波,李健君.基于hankel矩陣與奇異值分解(SVD)的濾波方法以及在飛機(jī)顫振試驗(yàn)數(shù)據(jù)預(yù)處理中的應(yīng)用[J].振動(dòng)與沖擊,2009,28(2):162-166.ZHANG BO,LI JIANJUN.Denoising method based on hankelmatrix and SVD and its application in flight flutter testing data preprocessing[J].Journal of Vibration and Shock,2009,28(2):162-166.(in Chinese)
[4]陳恩利,張璽,申永軍.基于SVD降噪和盲信號(hào)分離的滾動(dòng)軸承故障診斷[J].振動(dòng)與沖擊,2012,31(23):185-190.CHEN ENLI,ZHANG XI,SHEN YONGJUN.Fault diagnosis of rolling bearings based on SVD denoising and blind signals separation[J].Journal of Vibration and Shock,2012,31(23):185-190.(in Chinese)
[5]中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局GB/T 7607-2010柴油機(jī)油換油指標(biāo)[S].北京:中國(guó)標(biāo)準(zhǔn)出版社,2011.AQSIQ GB/T 7607-2010 Criteria for changing of diesel engine oil[S].Beijing:China Standard Publishing House,2011.(in Chinese)
[6] 中國(guó)石油化工集團(tuán)公司GB/T 11137-89深色石油產(chǎn)品運(yùn)動(dòng)粘度測(cè)定法和動(dòng)力粘度計(jì)算法[S].北京:中國(guó)標(biāo)準(zhǔn)出版社,1990.SINOPEC GROUP GB/T 11137-89 Petroleum products Determination of kinematic viscosity and calculation of dynamic viscosity[S].Beijing:China Standard Publishing House,1990.(in Chinese)
[7]王菊香,韓曉.組合區(qū)間偏最小二乘法結(jié)合紅外光譜法測(cè)定在用潤(rùn)滑油的運(yùn)動(dòng)粘度[J].理化檢驗(yàn),2015,51(5):638-639.WANG JUXIANG,HAN XIAO.Rapid determination of dynamic viscosity in used lubricating oil by biPLS combined with IR[J].Physical and Chemical Inspection,2015,51(5):638-639.(in Chinese)
[8]康春玉,章新華.一種基于奇異值分解自適應(yīng)降噪方法[J].聲學(xué)技術(shù),2008,27(3):455-456.KANG CHUNYU,ZHANG XINHUA.An adaptive noise reduction method based on singularity value decompose[J].Technical Acoustics,2008,27(3):455-456.(in Chinese)
[9]崔偉成,許愛強(qiáng).基于擬合誤差最小化原則的奇異值分解降噪有效秩階次確定方法[J].振動(dòng)與沖擊,2017,36(3):133-134.CUI WEICHENG,XU AIQIANG.A new method for determining effective rank order of singular value decomposition denoising based on fitting error minimum principle[J].Journal of Vibration and Shock,2017,36(3):133-134.(in Chinese)
[10]GOLYANDINA N.On the choice of parameters in singular spectrum analysis and related subspace-based methods[DB/OL].Statistics and Its Interface.(2017-04-01)[2010-07-20].http://arxiv.org/abs/1005.4374.
[11]MAHMOUDVAND R,ZOKAEI M.On the singular values of the Hankel matrix with application in singular spectrum analysis[J].Chilean Journal of Statistics,2012,3(1):43-56.
[12]錢征文,程禮,李應(yīng)紅.利用奇異值分解的信號(hào)降噪方法[J].振動(dòng)、測(cè)試與診斷,2011,31(4):599-463.QIAN ZHENGWEN,CHENG LI,LI YINGHONG.Noise reduction method based on singular value decomposition[J].Journal of Vibration,Measurement and Diagnosis,2011,31(4):599-463.(in Chinese)
[13]代蕩蕩,王先培.一種改進(jìn)的奇異值降噪階次選取方法用于紫外光譜信號(hào)去噪的研究[J].光譜學(xué)與光譜分析,2016,36(7):2140-2142.DAI DANGDANG,WANG XIANPEI.Research on denoising ultraviolet spectrum signal with an improved effective singular value selection method[J].Spectroscopy and Spectral Analysis,2016,36(7):2140-2142.(in Chinese)
[14]王建國(guó),李健,劉穎源.一種確定奇異值分解降噪有效秩階次的改進(jìn)方法[J].振動(dòng)與沖擊,2014,33(12):177-179.WANG JIANGUO,LI JIAN,LIU YINGYUAN.An improved method for determining effective order rank of SVD denoising[J].Journal of Vibration and Shock,2014,33(12):177-179.(in Chinese)
[15]陳全勝,郭志明.基于凈分析物預(yù)處理算法的綠茶中兒茶素的近紅外光譜定量分析[J].紅外與毫米波學(xué)報(bào),2009,28(5):360-361.CHENG QUANSHENG,GUO ZHIMING.Quantitative analysis of the catechins contents in green tea with near infrared spectroscopy and net analyte preprocessing algorithm[J].Infrared and Millim Waves,2009,28(5):360-361.(in Chinese)
[16]徐廣通,袁洪福,陸婉珍.CCD近紅外光譜譜圖預(yù)處理方法研究[J].光譜學(xué)與光譜分析,2000,20(5):619-622.XU GUANGTONG,YUAN HONGFU,LU WAN ZHEN.Study on spectra pretreatment in near-infrared spectroscopy analysis using charger coupled device detector[J].Spectroscopy and Spectral Analysis,2000,20(5):619-622.(in Chinese)
[17]苗福生,馬毅,汪西原.不同預(yù)處理方法對(duì)PLS模型檢測(cè)鮮長(zhǎng)棗糖度的影響[J].寧夏大學(xué)學(xué)報(bào),2011,32(2):130-133.MIAO FUSHENG,MA YI,WANG XIYUAN.Effect of different pretreatment methods on PLS modeling for measuring sugar of fresh long jujube with near infrared spectrum[J].Journal of Ningxia University,2011,32(2):130-133.(in Chinese)
[18]夏俊芳,李培武.不同預(yù)處理對(duì)紅外光譜檢測(cè)臍橙VC含量的影響[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2007,38(6):108-110.XIA JUNFANG,LI PEIWU.Effect of different pretreatment method of nondestructive measure VC content of umbilical orange with near-infrared spectroscopy[J].Chinese Journal of Agricultural Machinery,2007,38(6):108-110.(in Chinese)
Application of SVD Denoising in the Preprocessing of Infrared Spectrum
WANG Kaia,WANG Juxiangb,LIU Jieb,ZHU Changboa
(Naval Aeronautical and Astronautical University a.Graduate Students’Brigade;b.Department of Airborne Vehicle Engineering,Yantai Shandong 264001,China)
The application of SVD denoising was studied in the preprocessing of infrared spectrum.The principle of largest spacing and maximum peak was adopted to choose effective rank order.The original spectrum was preprocessed by SVD denoising and the first derivative,the wave wand were selected with the method of correlation coefficient.Calibration mod?el for kinematic viscosity was established using the PLS method,and was compared with convolution smoothing.Its Rcwas 0.9779,its SEC was 0.1005,its Rpwas 0.9412,its SEP was 0.1547.The results showed that SVD and the first derivative could effectively conduct denoising,correct baseline drift and improve the accuracy of PLS model.
SVD;infrared spectrum;preprocessing;lubricating oil;kinematic viscosity
TN211;O657.33
A
1673-1522(2017)03-0270-05
10.7682/j.issn.1673-1522.2017.03.003
2017-04-05;
2017-05-09
王 凱(1991-),男,碩士生.