劉華杰,雷文平,王軍輝,陳新財(cái),董辛?xí)F

(鄭州大學(xué)機(jī)械與動(dòng)力工程學(xué)院,鄭州 450001)

0 引言

隨著從工業(yè)過(guò)程中收集到的傳感器數(shù)據(jù)越來(lái)越多,機(jī)械工業(yè)檢測(cè)已經(jīng)進(jìn)入“大數(shù)據(jù)時(shí)代”,這些數(shù)據(jù)可被視為行業(yè)所用設(shè)備運(yùn)行狀態(tài)檢查的關(guān)鍵資產(chǎn)[1]。滾動(dòng)軸承是重要的工業(yè)機(jī)械基礎(chǔ)件,根據(jù)統(tǒng)計(jì)由于滾動(dòng)軸承故障引起的故障占40%～70%[2],因此開(kāi)發(fā)出一種滾動(dòng)軸承軸承異常檢測(cè)算法具有重要意義。

人工智能算法作為強(qiáng)大的模式識(shí)別工具已經(jīng)受到工業(yè)領(lǐng)域的廣泛關(guān)注,如貝葉斯網(wǎng)絡(luò)[3]用于鐵路牽引系統(tǒng)故障檢測(cè),基于支持向量機(jī)[4]的方法用于石油工業(yè)故障檢測(cè),基于自動(dòng)編碼器和支持向量機(jī)(SVM)[5]的方法用于軸承故障診斷領(lǐng)域。普通的機(jī)器學(xué)習(xí)方法都是基于數(shù)據(jù)類(lèi)平衡的假設(shè),但在面對(duì)不平衡數(shù)據(jù)時(shí)模型它們的分類(lèi)器有可能通過(guò)犧牲少數(shù)類(lèi)來(lái)確保多數(shù)類(lèi)的準(zhǔn)確性[6]。由于在工業(yè)過(guò)程中系統(tǒng)通常在正常狀態(tài)下運(yùn)行,導(dǎo)致在實(shí)踐中診斷系統(tǒng)收集到的一批數(shù)據(jù)中包含大量正常狀態(tài)的軸承信號(hào)樣本和少量的故障樣本。因此,工業(yè)系統(tǒng)的異常檢測(cè)任務(wù)可以建模為數(shù)據(jù)不平衡問(wèn)題[3]。

異常檢測(cè)表明原始信號(hào)的降維特征和重建誤差對(duì)于異常檢測(cè)均有重要作用[7-8]。ZONG等[9]提出的一種用于無(wú)監(jiān)督異常檢測(cè)的密度估計(jì)模型(DAGMM)提取原始信號(hào)的降維特征在并在高斯混合模型(GMM)[10]框架下學(xué)習(xí)正常數(shù)據(jù)低維表示的概率分布,以此來(lái)區(qū)分正常異常。這種方法表明只學(xué)習(xí)正常樣本的模型應(yīng)對(duì)不平衡數(shù)據(jù)集是有效的。

受到以上研究的啟發(fā),特別是針對(duì)于不平衡的工業(yè)數(shù)據(jù),本文提出了一種基于深度動(dòng)態(tài)密度估計(jì)的方法(DCEN)來(lái)解決軸承信號(hào)異常檢測(cè)問(wèn)題。模型整體分為壓縮網(wǎng)絡(luò)和估計(jì)網(wǎng)絡(luò)兩部分并采取端到端方式進(jìn)行聯(lián)合訓(xùn)練。壓縮網(wǎng)絡(luò)由編碼器-解碼器-編碼器3個(gè)子網(wǎng)絡(luò)組成,提取原始信號(hào)的低維特征和重構(gòu)誤差組合為低維表示。估計(jì)網(wǎng)絡(luò)為多層神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)模擬原始信號(hào)的概率分布。在凱斯西儲(chǔ)大學(xué)(CWRU)、江南大學(xué)(JNU)和帕德博恩大學(xué)(PU)的3個(gè)滾動(dòng)軸承數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),驗(yàn)證了該方法的有效性和可行性。根據(jù)對(duì)比實(shí)驗(yàn)結(jié)果本文所用方法具有優(yōu)越的異常檢測(cè)性能。

本文方法的主要特點(diǎn)如下:①針對(duì)工業(yè)領(lǐng)域中的軸承不平衡數(shù)據(jù),提出了一種新的異常檢測(cè)方法,為軸承異常檢測(cè)提供了一種新的方案;②本文的網(wǎng)絡(luò)模型只需要正常樣本。在實(shí)際工業(yè)場(chǎng)景中,異常樣本的數(shù)量往往不夠,因此這是一個(gè)更具有現(xiàn)實(shí)意義的網(wǎng)絡(luò);③本文方法在3個(gè)公開(kāi)的軸承數(shù)據(jù)集上均表現(xiàn)出具有競(jìng)爭(zhēng)力的異常檢測(cè)性能,驗(yàn)證了模型的有效性和泛化性。

1 密度估計(jì)異常檢測(cè)模型

1.1 模型概述

本文的深度動(dòng)態(tài)密度估計(jì)異常檢測(cè)模型(DCEN)將深度自編碼與高斯混合模型聯(lián)合,由兩部分組成,如圖1所示模型由1個(gè)壓縮子網(wǎng)絡(luò)和1個(gè)估計(jì)子網(wǎng)絡(luò)組成(deep compression network and estimation network,DCEN),該壓縮網(wǎng)絡(luò)通過(guò)深度自動(dòng)編碼器對(duì)輸入樣本進(jìn)行降維,將降維特征和重建誤差特征作為它們的低維表示,并將低維表示提供給后續(xù)的估計(jì)網(wǎng)絡(luò);該估計(jì)子網(wǎng)絡(luò)根據(jù)每個(gè)數(shù)據(jù)樣本的低維表示進(jìn)行混合隸屬度預(yù)測(cè),并利用這些預(yù)測(cè)的隸屬度值,在高斯混合模型框架內(nèi)預(yù)測(cè)其能量值,最后根據(jù)能量值區(qū)分異常。

圖1 模型框架

1.2 壓縮網(wǎng)絡(luò)

如圖1所示,壓縮網(wǎng)絡(luò)為具有“編碼器(Ce)-解碼器(Cd)-編碼器(Ce′)”3個(gè)子網(wǎng)絡(luò)。給定一個(gè)樣本X壓縮網(wǎng)絡(luò)為估計(jì)網(wǎng)絡(luò)提供由原始輸入的低維特征和重構(gòu)誤差組成的低維表示,并且在訓(xùn)練過(guò)程中為損失函數(shù)提供壓縮損失。整個(gè)過(guò)程為:

步驟1:Ce由批次標(biāo)準(zhǔn)化層、全連接層和ReLU激活層組成。Ce將計(jì)算出X的低維特征Zc;

Zc=h(X;θe)

(1)

步驟2:Cd由批次標(biāo)準(zhǔn)化層、全連接層和ReLU激活層組成。Cd使用Zc來(lái)重建X′;

X′=g(Zc;θd)

(2)

(3)

壓縮網(wǎng)絡(luò)提供的低維表示為:

Zr=f(X,X′)

(4)

Z=[Zc,Zr]

(5)

1.3 估計(jì)網(wǎng)絡(luò)

估計(jì)網(wǎng)絡(luò)對(duì)來(lái)自壓縮網(wǎng)絡(luò)的輸出z進(jìn)行密度估計(jì)。估計(jì)網(wǎng)絡(luò)在訓(xùn)練階段使用多層神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)每個(gè)樣本的混合隸屬度直接估計(jì)高斯混合模型(GMM)的參數(shù),而無(wú)需采用GMM模型常用的期望最大化(EM)迭代算法。給定低維表示Z和整數(shù)k作為混合成分的數(shù)量,估計(jì)網(wǎng)絡(luò)進(jìn)行成員預(yù)測(cè)如下:

p=MLN(z;θm)

(6)

(7)

(8)

(9)

(10)

根據(jù)估計(jì)的參數(shù),可以通過(guò)式(11)進(jìn)一步推斷樣本能量。

(11)

在測(cè)試階段模型具有學(xué)習(xí)之后的參數(shù),可以直接估計(jì)樣本能量,并樣本能量高于閾值的樣本標(biāo)記為異常。

1.4 目標(biāo)函數(shù)

在給定一個(gè)包含N個(gè)樣本的數(shù)據(jù)集時(shí),指導(dǎo)DCEN訓(xùn)練的目標(biāo)函數(shù)構(gòu)造如下:

(12)

該目標(biāo)函數(shù)包括3個(gè)部分。

②E(zi)表示輸入樣本zi的能量。通過(guò)最小化樣本能量,我們尋找壓縮和估計(jì)網(wǎng)絡(luò)的最佳組合。

2 實(shí)驗(yàn)設(shè)置

為了評(píng)估本文DCEN的可行性和有效性,在凱斯西儲(chǔ)大學(xué)(CWRU)軸承數(shù)據(jù)集、江南大學(xué)(JNU)軸承數(shù)據(jù)集和帕德博恩大學(xué)(PU)軸承數(shù)據(jù)集上進(jìn)行了對(duì)比試驗(yàn)。

2.1 數(shù)據(jù)集描述

凱斯西儲(chǔ)大學(xué)(CWRU)數(shù)據(jù)集由凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)中心提供[11]。人為在滾動(dòng)體(B)、內(nèi)圈(IR)和外圈(OR)加工出損壞點(diǎn)作為故障軸承。以12 kHz或48 kHz在試驗(yàn)臺(tái)上利用加速度傳感器在驅(qū)動(dòng)端、風(fēng)扇端和基座上采集正常軸承和具有損壞點(diǎn)的軸承振動(dòng)信號(hào)。

江南大學(xué)(JNU)數(shù)據(jù)集[12]由3個(gè)不同轉(zhuǎn)速的軸承振動(dòng)數(shù)據(jù)集組成,數(shù)據(jù)采樣頻率為50 kHz。如表1所示,JNU數(shù)據(jù)集包含一種健康狀態(tài)(N)和3種故障模式,包括內(nèi)圈故障(IR)、外圈故障(OR)和滾動(dòng)體故障(B)。

表1 JNU數(shù)據(jù)集參數(shù)

帕德博恩大學(xué)(PU)數(shù)據(jù)集由帕德伯恩大學(xué)軸承數(shù)據(jù)中心提供[13]。數(shù)據(jù)中心人員通過(guò)實(shí)驗(yàn)臺(tái)獲取電流信號(hào)和采樣頻率為64 kHz的振動(dòng)信號(hào)。數(shù)據(jù)集包含的軸承狀態(tài)分為3類(lèi):①6個(gè)未損壞的軸承;②12個(gè)人為損壞的軸承;③14個(gè)軸承因加速壽命試驗(yàn)造成實(shí)際損壞。

2.2 數(shù)據(jù)集處理

在凱斯西儲(chǔ)大學(xué)數(shù)據(jù)集上選取采樣頻率為12 kHz的信號(hào)作為實(shí)驗(yàn)樣本。在正常運(yùn)行條件下使用b=2531個(gè)正常樣本作為訓(xùn)練集來(lái)訓(xùn)練模型。使用v=588和u=2598個(gè)無(wú)標(biāo)簽樣本組成測(cè)試集。

在江南大學(xué)數(shù)據(jù)集上使用b=8788個(gè)正常樣本作為訓(xùn)練集來(lái)訓(xùn)練模型。使用v=2198和u=10 926個(gè)無(wú)標(biāo)簽樣本組成測(cè)試集。

在帕德博恩大學(xué)數(shù)據(jù)集上采用正常軸承振動(dòng)數(shù)據(jù)和真實(shí)故障軸承振動(dòng)數(shù)據(jù)。使用b=47 645個(gè)正常樣本作為訓(xùn)練集來(lái)訓(xùn)練模型。使用v=11 912和u=59 609個(gè)無(wú)標(biāo)簽樣本組成測(cè)試集。

2.3 實(shí)施細(xì)節(jié)

在實(shí)驗(yàn)中用于單個(gè)數(shù)據(jù)集的深度動(dòng)態(tài)密度估計(jì)網(wǎng)絡(luò)(DCEN)的結(jié)構(gòu)總結(jié)如下。

凱斯西儲(chǔ)大學(xué)(CWRU)數(shù)據(jù)集:對(duì)于該數(shù)據(jù)集,其壓縮網(wǎng)絡(luò)向估計(jì)網(wǎng)絡(luò)提供34維輸入,其中32個(gè)維度是降維特征,另兩個(gè)維度來(lái)自重建誤差。為獲得最佳性能該估計(jì)網(wǎng)絡(luò)采用了具有3個(gè)混合分量的GMM。具體而言,壓縮網(wǎng)絡(luò)以BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)-BN(32)-FC(32,128,relu)-BN(128)-FC(128,256,relu)-BN(256)-FC(256,4096,None)-BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)運(yùn)行,并且估計(jì)網(wǎng)絡(luò)以BN(34)-FC(34,100,tanh)-BN(100)-DP(0.5)-FC(10,3,softmax)執(zhí)行。

江南大學(xué)(JNU)數(shù)據(jù)集:對(duì)于該數(shù)據(jù)集,其壓縮網(wǎng)絡(luò)向估計(jì)網(wǎng)絡(luò)提供34維輸入,其中32個(gè)維度是降維特征,另兩個(gè)維度來(lái)自重建誤差。為獲得最佳性能該估計(jì)網(wǎng)絡(luò)采用了具有3個(gè)混合分量的GMM。具體而言,壓縮網(wǎng)絡(luò)以BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)-BN(32)-FC(32,128,relu)-BN(128)-FC(128,256,relu)-BN(256)-FC(256,4096,None)-BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,128,relu)-BN(128)-FC(128,32,None)運(yùn)行,并且估計(jì)網(wǎng)絡(luò)以BN(34)-FC(34,100,tanh)-BN(100)-FC(100,10,tanh)-BN(10)-DP(0.5)-FC(10,3,softmax)執(zhí)行。

帕德博恩大學(xué)(PU)數(shù)據(jù)集:對(duì)于該數(shù)據(jù)集,其壓縮網(wǎng)絡(luò)向估計(jì)網(wǎng)絡(luò)提供34維輸入,其中32個(gè)維度是降維特征,另兩個(gè)維度來(lái)自重建誤差。為獲得最佳性能該估計(jì)網(wǎng)絡(luò)采用了具有6個(gè)混合分量的GMM。具體而言,壓縮網(wǎng)絡(luò)以BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,32,None)-BN(32)-FC(32,256,relu)-BN(256)-FC(256,4096,None)-BN(4096)-FC(4096,256,relu)-BN(256)-FC(256,32,None)運(yùn)行,并且估計(jì)網(wǎng)絡(luò)以BN(34)-FC(34,10,tanh)-BN(10)-DP(0.5)-FC(10,6,softmax)執(zhí)行。

其中,FC(a,b,f)表示一個(gè)全連接結(jié)構(gòu),其中a輸入神經(jīng)元和b輸出神經(jīng)元由函數(shù)f激活(None表示不使用激活函數(shù)),BN(d)表示數(shù)據(jù)維度為d的批次標(biāo)準(zhǔn)化操作,DP(p)表示訓(xùn)練期間保持概率為p的丟棄層。

所有DCEN模型實(shí)例均由tensorflow2.5實(shí)現(xiàn),并由Adam優(yōu)化網(wǎng)絡(luò)來(lái)優(yōu)化算法訓(xùn)練。訓(xùn)練時(shí)學(xué)習(xí)率設(shè)置為0.000 1,λ1設(shè)置為0.1,將λ2設(shè)置為0.005。對(duì)于凱斯西儲(chǔ)大學(xué)(CWRU)數(shù)據(jù)集、江南大學(xué)(JNU)數(shù)據(jù)集和帕德博恩大學(xué)(PU)數(shù)據(jù)集,epochs數(shù)分別為200,300和20。batch-size的大小,均設(shè)置為256。

本實(shí)驗(yàn)在3個(gè)不同數(shù)據(jù)源上將DCEN模型與具有徑向基函數(shù)核(RBF)的一類(lèi)支持向量機(jī)(OC-SVM)和局部離群因子(LOF)兩種經(jīng)典無(wú)監(jiān)督異常檢測(cè)方法進(jìn)行比較。

3 實(shí)驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

在實(shí)驗(yàn)中DCEN模型計(jì)算訓(xùn)練集和測(cè)試集的異常分?jǐn)?shù),并將訓(xùn)練集樣本異常分?jǐn)?shù)降序排列并且以99.5%分位點(diǎn)的異常分?jǐn)?shù)作為判別閾值。在測(cè)試集中異常得分大于閾值的將被認(rèn)定為異常值。為了評(píng)判模型性能,采用準(zhǔn)確率A(Accuracy)、精確率P(Precision),召回率R(Recall),和F1分?jǐn)?shù)(F1_score)作為展示模型異常檢測(cè)性能的指標(biāo)。表達(dá)式為:

(13)

(14)

(15)

(16)

式中:TP是預(yù)測(cè)為正例的正例樣本數(shù),FN是預(yù)測(cè)為反例的正例樣本數(shù),FP是預(yù)測(cè)為正例的反例樣本數(shù),TN是預(yù)測(cè)為反例的反例樣本數(shù)(本文測(cè)試階段異常值為正例)。

3.2 實(shí)驗(yàn)結(jié)果

表2總結(jié)了深度動(dòng)態(tài)密度估計(jì)異常檢測(cè)模型(DCEN)、一類(lèi)支持向量機(jī)(OC-SVM)和局部離群因子(LOF)模型分別在凱斯西儲(chǔ)大學(xué)(CWRU)滾動(dòng)軸承數(shù)據(jù)集、江南大學(xué)(JNU)軸承數(shù)據(jù)集和帕德博恩大學(xué)(PU)滾動(dòng)軸承數(shù)據(jù)集上的結(jié)果(最優(yōu)結(jié)果已加粗)。根據(jù)準(zhǔn)確率(Accuracy)、精確率(Precision),召回率(Recall),和F1分?jǐn)?shù)(F1_score)指標(biāo),3個(gè)模型在凱斯西儲(chǔ)大學(xué)(CWRU)數(shù)據(jù)集上均有優(yōu)秀的異常檢測(cè)性能且性能差距不大,其中一類(lèi)支持向量機(jī)(OC-SVM)在凱斯西儲(chǔ)大學(xué)數(shù)據(jù)集上的表現(xiàn)(CWRU)是3個(gè)模型中最優(yōu)的,但是在另外兩個(gè)數(shù)據(jù)集上一類(lèi)支持向量機(jī)(OC-SVM)和局部離群因子(LOF)模型的性能有著明顯的下降。而深度動(dòng)態(tài)密度估計(jì)異常檢測(cè)模型(DCEN)在3個(gè)數(shù)據(jù)集上均表現(xiàn)出優(yōu)秀的異常檢測(cè)性能,召回率均達(dá)到100%。

表2 實(shí)驗(yàn)結(jié)果對(duì)比

續(xù)表

3.3 模型分析

通過(guò)對(duì)比實(shí)驗(yàn)得到了深度動(dòng)態(tài)密度估計(jì)模型(DCEN)在不同數(shù)據(jù)集的異常檢測(cè)效果,驗(yàn)證了DCEN的有效性和更廣泛的適用性。

為了進(jìn)一步的分析模型特征提取能力,將正常數(shù)據(jù)和異常數(shù)據(jù)輸入到訓(xùn)練之后的深度動(dòng)態(tài)密度估計(jì)模型(DCEN)中,利用t-SNE算法對(duì)壓縮網(wǎng)絡(luò)提供的低維表示降維至三維空間進(jìn)行分析。

圖3～圖5從不同角度展示了3個(gè)數(shù)據(jù)集中正常數(shù)據(jù)和異常數(shù)據(jù)(黑色:正常數(shù)據(jù),灰色:異常數(shù)據(jù))的低維表示經(jīng)過(guò)t-SNE降維之后的可視化效果?？梢钥闯稣?shù)據(jù)和異常數(shù)據(jù)的低維表示具有不同的分布,說(shuō)明經(jīng)過(guò)訓(xùn)練,模型能夠有效的提取出正常樣本和異常樣本的特征進(jìn)而利用特征分布的不同進(jìn)行異常檢測(cè)。估計(jì)網(wǎng)絡(luò)引入的正則化有助于深度自動(dòng)編碼器獲得具備原始數(shù)據(jù)特征的低維表示,而壓縮網(wǎng)絡(luò)為密度估計(jì)網(wǎng)絡(luò)提供更有意義的低維表示。

圖3 凱斯西儲(chǔ)大學(xué)數(shù)據(jù)集

圖4 江南大學(xué)數(shù)據(jù)集

圖5 帕德博恩大學(xué)數(shù)據(jù)集

4 結(jié)論

本文提出了一種基于深度動(dòng)態(tài)密度估計(jì)的方法(DCEN)用于軸承信號(hào)異常檢測(cè),解決了在實(shí)際工程領(lǐng)域中數(shù)據(jù)樣本不平衡的情況下,實(shí)現(xiàn)對(duì)異常信號(hào)樣本高質(zhì)量檢測(cè)的問(wèn)題,并得出以下結(jié)論:

(1)提出一種基于深度動(dòng)態(tài)密度估計(jì)模型,融合深度自編碼器的特征提取能力和GMM框架的密度估計(jì)能力,同時(shí)考慮原始輸入的低維特征和重構(gòu)誤差,模擬正常數(shù)據(jù)的特征分布,實(shí)現(xiàn)軸承信號(hào)的異常檢測(cè)。

(2)將提出的方法應(yīng)用于不同的異常檢測(cè)任務(wù)中,并與已有的傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比,結(jié)果表明本文所提方法具有更好的泛化能力和異常檢測(cè)性能。