孫夢丹,汪雪良,吳國慶,姚驥,蔣鎮(zhèn)濤
(中國船舶科學研究中心,江蘇 無錫 214082)
為適應世界海運發(fā)展,加強海洋資源開發(fā),船舶技術(shù)發(fā)展尤為重要。張鳳梅等[1]提出,我國是一個海洋大國,對海洋科學裝置與相關(guān)產(chǎn)業(yè)技術(shù)創(chuàng)新的研究亟待深入。船舶行駛在復雜的海域環(huán)境中,易受到波浪激勵、設備振動、電磁干擾等環(huán)境因素的影響,造成船舶結(jié)構(gòu)損壞。汪雪良等[2-4]從理論預報、模型試驗和實船測試3 個方面,針對波浪激勵、設備振動對船舶的影響展開了研究。徐春等[5-6]針對船體波激振動的響應特征,采用小波預報、傅里葉變換的方式進行分析和處理。周天宸等[7]提出,需要建立實時監(jiān)測船體健康的系統(tǒng),從結(jié)構(gòu)應力監(jiān)測數(shù)據(jù)角度對船體結(jié)構(gòu)進行故障識別與診斷。因此,需要建立船體狀態(tài)實時監(jiān)測系統(tǒng),收集船舶在行駛中的數(shù)據(jù),分析并判斷船舶行駛狀態(tài)下存在的問題,以保障航行安全。實船結(jié)構(gòu)監(jiān)測數(shù)據(jù)通過在船上布放傳感器獲取,鄭慶新等[8]針對應用于船舶結(jié)構(gòu)安全監(jiān)測的應變傳感器開展了研究,提出了嚴格的技術(shù)規(guī)定。然而,直接獲得的數(shù)據(jù)往往含有異?,F(xiàn)象,影響統(tǒng)計分析的客觀性。
綜上所述,船舶在行駛過程中易受到外界環(huán)境因素干擾,造成結(jié)構(gòu)失效等不良影響。因此,為開展船體結(jié)構(gòu)安全分析,需開發(fā)船體結(jié)構(gòu)監(jiān)測系統(tǒng),獲取船舶在行駛中的結(jié)構(gòu)應力數(shù)據(jù)。然而,直接獲取的監(jiān)測數(shù)據(jù)往往含有異?,F(xiàn)象,現(xiàn)針對真實海況下船舶結(jié)構(gòu)應力數(shù)據(jù)存在的異常現(xiàn)象,開發(fā)數(shù)據(jù)異常處理算法,為開展后續(xù)船體結(jié)構(gòu)安全分析提供數(shù)據(jù)輸入。
針對某實船結(jié)構(gòu)應力數(shù)據(jù),選取一段含有典型異?,F(xiàn)象的4 h 信號作為分析對象。信號原始圖像如圖1 所示。由圖像分析可得,信號中存在的典型異?,F(xiàn)象為信號跳變,即信號中存在離群值。離群值是指數(shù)據(jù)中與其他值明顯不同的異常值,可能由于數(shù)據(jù)損壞或錯誤導致,也可能由于真實數(shù)據(jù)的異常情況導致[9]。Mandhare 等[10]開展了基于聚類、距離、密度等一系列離散值的監(jiān)測技術(shù)研究。徐鵬濤等[11]針對數(shù)據(jù)中離群值的處理,開展了卷積神經(jīng)網(wǎng)絡模型訓練等一系列方法研究。本目標案例中存在的信號離群值是由設備振動、電磁干擾、波浪激勵等外界干擾因素造成的,與正常數(shù)據(jù)段中信號特征有顯著差異。為避免對后續(xù)船舶結(jié)構(gòu)特征分析造成誤差影響,故研究異常值處理算法,對真實海況下船舶結(jié)構(gòu)應力數(shù)據(jù)存在的信號異常跳變現(xiàn)象進行去除。
圖1 信號原始圖像Fig.1 Original signal image
本文針對3 種信號異常處理方法開展研究,分別為Hampel 濾波法、Smooth 平滑函數(shù)法和Z-score 異常檢測及平均值異常處理法。
1.2.1 Hampel 濾波法
Hampel 濾波法是一種基于決策的濾波法,通過該濾波法可以找到數(shù)據(jù)序列中的異常數(shù)據(jù)點,以更有代表性的數(shù)值替換,如濾波法移動窗口中的短序列的中值[12]。李麒等[13]基于Hampel 濾波法,針對某土石壩滲流壓力原始監(jiān)測數(shù)據(jù)進行識別粗差處理,證明Hampel 能在不獲取數(shù)據(jù)完整趨勢的情況下進行判斷,具有良好實時性和識別效果。常見的Hampel 濾波法通過中位數(shù)進行離群值檢測,并消除數(shù)據(jù)中存在的離群值。
對于數(shù)據(jù)序列a1,a2,…,ai設定每個樣本ai兩邊的樣本數(shù)量l,則滑動窗口長2l+1,窗口樣本中值可表示為:
為驗證窗口選取值對Hampel 處理精度的影響,分別選取窗口樣本數(shù)為1、2、3、5、7。驗證數(shù)據(jù)為同一組原始信號及其加跳變現(xiàn)象后生成的異常數(shù)據(jù)。通過不同窗口樣本數(shù)的Hampel 濾波法對異常數(shù)據(jù)做處理,求處理誤差,結(jié)果見表1。
表1 不同窗口樣本數(shù)的異常處理誤差Tab.1 Anomaly processing error for different window sample sizes
由誤差結(jié)果可得,窗口樣本越少,異常處理的誤差越小。已知隨著窗口樣本數(shù)減少,運行時間增長。綜合考慮異常處理誤差及運行時間,選取3 作為窗口樣本數(shù)。
絕對中位差的定義為,用原數(shù)據(jù)減去中位數(shù)后得到的新數(shù)據(jù)的絕對值的中位數(shù),常用來估計標準差。由CNAS-GL002:2018[14]算法A 可知,標準差=1.483×絕對中位差。窗口樣本的標準差的計算見式(2)。
GB/T 28043—2019/ISO 13528:2015[15]規(guī)定,能力驗證結(jié)果的評價一般應包括指定值的確定、能力統(tǒng)計量的計算、能力評定。其中能力統(tǒng)計量(z值)在國內(nèi)外各項能力驗證計劃中得到了廣泛應用,能力驗證結(jié)果xi的z值(即zi)可以采用式(3)計算。
式中:xi為實驗室測定結(jié)果;xpt為指定值;σpt為能力評定標準差。以z值評價參加能力驗證計劃各實驗室的結(jié)果:當|z|≤2.0,表明結(jié)果可接受;當2.0<|z|<3.0,給出警戒信號;當|z|≥3.0,結(jié)果不可接受(或給出行動信號)[16]。
在本方法中,xi為窗口內(nèi)某值,xpt為窗口中值,σpt為ei。如果窗口內(nèi)某個值大于3 倍中值絕對偏差ei,則將其判定為離群點,并由窗口中值代替。
新生成的窗口數(shù)據(jù)序列bi可表示為:
1.2.2 Smooth 平滑函數(shù)
Smooth 函數(shù)是一種常用的數(shù)學函數(shù),其基本原理為使用滑動平均濾波算法,對每一個數(shù)據(jù)進行卷積運算,采用卷積算子模擬線性非時變系統(tǒng)對信號的影響,使之趨于一定數(shù)值[17]。Yuan 等[18]、Bai 等[19]利用Smooth 函數(shù),針對超聲波探傷儀、風電場等不同領(lǐng)域的輸出信號中存在的噪聲或平滑不連續(xù)現(xiàn)象,開展了信號平滑處理,取得了顯著效果,證實了Smooth函數(shù)在研究中的信號優(yōu)化作用。
滑動平均濾波法原理為,將連續(xù)取的N個采樣值看成一個隊列,隊列的長度固定為N,每次采樣到一個新數(shù)據(jù)放入隊尾,就扔掉原來隊首的一次數(shù)據(jù)(先進先出原則)。把隊列中的N個數(shù)據(jù)進行算術(shù)平均運算,獲得新的濾波結(jié)果[20]。
Smooth 函數(shù)計算類似一維卷積的工作原理,使滑動平均濾波法的N對應一維卷積核大?。ㄩL度)。進行算術(shù)平均運算時,一維卷積核大?。ㄩL度)和N相等,步長設置為1,核參數(shù)初始為1,沿著輸入滑動窗口并計算窗口內(nèi)容的平均值[20],獲得濾波結(jié)果。由于一維卷積計算速度快,Smooth 函數(shù)可高效地實現(xiàn)異常信號消除功能。
1.2.3 Z-score 異常檢測及平均值異常處理
在傳統(tǒng)信號異常處理方法外,結(jié)合統(tǒng)計學異常檢測方法與常見數(shù)據(jù)異常值去除方法開發(fā)效果更好的信號跳變處理方案。
首先采用統(tǒng)計學中的Z-score 異常檢測方法,識別信號存在的跳變現(xiàn)象。Z-score 是一維或低維特征空間中的參數(shù)異常監(jiān)測方法[21]。唐瑜婕等[22]、Ismail等[23]、韓霞等[24]分別使用Z-score 數(shù)據(jù)異常檢測方法針對企業(yè)財務、馬來西亞產(chǎn)品質(zhì)量、文獻引用等不同領(lǐng)域數(shù)據(jù)進行異常值檢測,證實了Z-score 異常檢測法在信號離群值方面的識別效果。該方法假定數(shù)據(jù)是高斯分布,異常值是分布在尾部的數(shù)據(jù)點,因此遠離數(shù)據(jù)的平均值。距離的遠近取決于使用公式計算的歸一化數(shù)據(jù)點Zi的設定閾值Zthr:
式中:xi是一個數(shù)據(jù)點;μ是所有點xi的平均值;σ是xi的標準偏差。
經(jīng)過標準化處理后,Zi的絕對值大于Zthr的點判斷為異常值[25]。根據(jù)上述能力統(tǒng)計量(z值)規(guī)定,選擇異常值參數(shù)為3。
為避免異常檢測過度,防止正常信號被剔除,此處閾值為3。信號異常識別結(jié)果見圖2,圖中圓點為異常點。最后,使用數(shù)據(jù)處理中的平均值法去除上述信號跳變。計算異常點前后20 個數(shù)據(jù)的平均值,作為異常點的新值。
圖2 Z-score 異常檢測結(jié)果Fig.2 Z-score signal anomaly detection results
為驗證不同信號處理方法的準確性,首先,采用3 種方法處理同一組異常數(shù)據(jù),初步判斷信號的處理效果。其次,創(chuàng)建驗證數(shù)據(jù),從差值角度判斷3 種異常處理方法的準確性。最后,基于各組異常處理后數(shù)據(jù),計算其對應的結(jié)構(gòu)信號統(tǒng)計值,并與正常數(shù)據(jù)的統(tǒng)計值作比對,進一步說明異常處理方案在結(jié)構(gòu)監(jiān)測數(shù)據(jù)數(shù)值統(tǒng)計上的意義。
首先,分別使用Hampel 濾波法、Smooth 平滑函數(shù)法、Z-score 異常檢測及平均值異常處理法處理同一組異常數(shù)據(jù),即1.1 小節(jié)中展示的某船4 h 異常數(shù)據(jù)。信號處理結(jié)果如圖3 所示。由信號處理結(jié)果可初步推測,Z-score 異常檢測及平均值異常處理法對結(jié)構(gòu)監(jiān)測數(shù)據(jù)的異常處理效果最佳。
圖3 3 種異常處理方法效果對比Fig.3 Comparison of three types of anomaly processing results:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing
通過實船結(jié)構(gòu)監(jiān)測數(shù)據(jù)驗證3 種異常處理方法的處理精度。選擇一段4 h 信號良好的某實船監(jiān)測數(shù)據(jù),加入同類型信號跳變,獲得2 組驗證數(shù)據(jù)。原始數(shù)據(jù)及兩組驗證數(shù)據(jù)如圖4 所示。
圖4 原始數(shù)據(jù)及驗證數(shù)據(jù)圖像Fig.4 Original data and validation data images:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing
分別使用3 種異常處理方法處理2 組異常數(shù)據(jù),并與原始數(shù)據(jù)做差值計算,得到如圖5 所示2 組差值對比圖。
圖5 3 種異常處理差值Fig.5 Three types of anomaly processing differences:a) validation data 1;b) validation data 2
由左側(cè)差值對比圖可得,Hampel 濾波法對跳變現(xiàn)象的異常處理效果不佳。Smooth 方法與Z-score 異常檢測及平均值處理方法均存在少量誤差。由右側(cè)放大后的差值對比圖可得,經(jīng)Smooth 方法處理后的數(shù)據(jù)大量點存在一定程度的誤差,Z-score 及平均值方法處理后的數(shù)據(jù)只有少數(shù)點存在一定程度的誤差,單點誤差程度略大于Smooth 方法。
接下來從工程應用角度,基于傳統(tǒng)的結(jié)構(gòu)應力數(shù)據(jù)處理方法,對比Smooth 方法與Z-score 及平均值異常處理方法的數(shù)據(jù)處理效果。
在結(jié)構(gòu)應力數(shù)據(jù)的實際工程應用方面,基于傳統(tǒng)的結(jié)構(gòu)應力數(shù)據(jù)處理方法,通過實驗驗證Z-score 異常檢測及平均值異常處理方法對結(jié)構(gòu)應力數(shù)據(jù)處理的準確性和計算價值。
在傳統(tǒng)的結(jié)構(gòu)應力數(shù)據(jù)分析方法中,通常采用包括信號濾波、信號成分提取、信號特征值計算的處理方法對結(jié)構(gòu)監(jiān)測數(shù)據(jù)進行價值挖掘,生成包括低通、高通、合成3 種信號成分的峰值、谷值、全幅值,并計算其對應的平均值、三一值、最大值,共獲得27 個特征值,通過特征值反映船舶結(jié)構(gòu)各部位的受力情況。
現(xiàn)選擇一段4 h 不含異常跳變的結(jié)構(gòu)應力數(shù)據(jù)作為原始數(shù)據(jù),并計算其特征值,結(jié)果見圖6 和表2。
表2 原始數(shù)據(jù)特征值計算結(jié)果Tab.2 Calculation results of original data eigenvalue
圖6 原始數(shù)據(jù)圖像Fig.6 Original data images
在正常信號中加入與異常數(shù)據(jù)同類型的信號跳變,獲得3 組驗證數(shù)據(jù)。驗證數(shù)據(jù)如圖7 所示。針對3 組驗證數(shù)據(jù),分別使用3 種信號異常處理方法處理數(shù)據(jù),并針對處理后的數(shù)據(jù)進行特征值計算,特征值對比結(jié)果如圖8 所示,精度見表3。
表3 3 種異常處理方法的統(tǒng)計值誤差Tab.3 Statistical value error of three anomaly processing methods%
圖7 驗證數(shù)據(jù)圖像Fig.7 Validation data images:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing
圖8 3 種異常處理方法的統(tǒng)計值對比Fig.8 Comparison of statistical values of three anomaly processing methods:a) validation data 1;b) validation data 2;c) validation data 3
由特征值的對比圖和誤差計算結(jié)果可得,由Z-score 異常檢測及平均值處理方法處理后的數(shù)據(jù)獲取結(jié)構(gòu)特征值的精度最高,平均精度在90%以上。因此,在Hampel 濾波法、Smooth 平滑函數(shù)法、Z-score異常檢測及平均值處理方法中,Z-score 異常檢測及平均值處理方法針對實船結(jié)構(gòu)應力監(jiān)測數(shù)據(jù)存在的異常處現(xiàn)象效果最好。
通過上述論證可得,Z-score 異常檢測及平均值處理方法可應用于處理實船結(jié)構(gòu)監(jiān)測數(shù)據(jù)中的跳變異常。選取一段相同船其他測點不同時間段的數(shù)據(jù),應用算法后處理效果如圖9 所示。
圖9 異常處理算法應用Fig.9 Application of anomaly processing algorithms:a) original image;b) application results of anomaly processing method
采用包括信號濾波、信號成分提取、信號特征值計算的信號處理方法對異常處理后的數(shù)據(jù)進行統(tǒng)計值計算,結(jié)果見表4。
表4 算法異常處理后的數(shù)據(jù)統(tǒng)計值Tab.4 Statistical values after algorithm anomaly processing
本文提出的Z-score 異常檢測及平均值處理方法的適用對象為,真實海況下實船結(jié)構(gòu)應力監(jiān)測數(shù)據(jù)中存在的由于設備振動、電磁干擾等環(huán)境因素造成的異常信號跳變現(xiàn)象。對于包含其他種類信號異?,F(xiàn)象的實船或其他領(lǐng)域數(shù)據(jù),算法需經(jīng)過驗證后再使用。
本文針對實船結(jié)構(gòu)監(jiān)測數(shù)據(jù)中存在的典型異?,F(xiàn)象,開展高精度異常處理算法研究,生成Z-score異常檢測及平均值異常處理算法,實現(xiàn)對實船結(jié)構(gòu)監(jiān)測數(shù)據(jù)的高精度快速異常處理。主要結(jié)論如下:
1)Z-score 異常檢測及平均值處理方法的適用對象為,真實海況下實船結(jié)構(gòu)應力監(jiān)測數(shù)據(jù)中存在的由于設備振動、電磁干擾等環(huán)境因素造成的異常信號跳變現(xiàn)象。
2)相比Hampel 濾波法、Smooth 平滑函數(shù)等傳統(tǒng)的信號處理方法,從差值結(jié)果可以看出,Z-score異常檢測及平均值計算方法的異常處理精度最高。
3)對Z-score 異常檢測及平均值計算方法處理后的結(jié)構(gòu)數(shù)據(jù),進行信號濾波、信號成分提取和信號特征值計算,獲得的統(tǒng)計數(shù)據(jù)誤差在10%以內(nèi),可應用于后續(xù)的實船結(jié)構(gòu)應力信息挖掘。