唐 魏，鄭 源，潘 虹，徐晶珺

1.河海大學(xué) 水利水電學(xué)院，南京 210098

2.河海大學(xué) 創(chuàng)新研究院，南京 210098

3.河海大學(xué) 能源與電氣學(xué)院，南京 211100

1 引言

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的快速發(fā)展，當前社會數(shù)據(jù)的增長十分迅速，在軸承故障診斷領(lǐng)域更是如此[1]，形成海量的各種設(shè)備來源、各種形式的故障和正常數(shù)據(jù)，這導(dǎo)致屬于淺層學(xué)習的傳統(tǒng)軸承故障診斷方法具有無法充分挖掘數(shù)據(jù)深層特征的局限性[2]。深度學(xué)習作為大數(shù)據(jù)時代的產(chǎn)物，由于其具有多個隱含層，能夠?qū)崿F(xiàn)復(fù)雜非線性函數(shù)的表示，在特征自動提取上具有很多其他算法不可比擬的優(yōu)勢[3]。

深度學(xué)習目前較為成熟的算法有4 種[4]：深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN），卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），堆疊自編碼網(wǎng)絡(luò)（Stacked Auto-Encoder，SAE）。深度學(xué)習在軸承故障診斷領(lǐng)域也已經(jīng)進行了大量的應(yīng)用[5-9]，其中SAE網(wǎng)絡(luò)的應(yīng)用研究方面，Sun等[10]利用SAE實現(xiàn)軸承故障診斷，并分析了Dropout 對于故障識別率的影響；張西寧等[11]運用帶標準化的堆疊自編碼網(wǎng)絡(luò)進行滾動軸承故障診斷研究；杜燦誼等[12]運用螢火蟲算法優(yōu)化SAE網(wǎng)絡(luò)參數(shù)；侯文擎等[13]利用粒子群算法優(yōu)化SAE 網(wǎng)絡(luò)超參數(shù)；鄭近德等[14]結(jié)合多尺度熵和自編碼器進行滾動軸承故障診斷。

可以看出目前SAE 在軸承故障診斷領(lǐng)域的應(yīng)用研究主要集中在超參數(shù)的優(yōu)化、輸入數(shù)據(jù)形式、不同樣本數(shù)據(jù)長度和網(wǎng)絡(luò)結(jié)構(gòu)對準確率的影響的研究上，關(guān)于SAE網(wǎng)絡(luò)反向微調(diào)的有標簽數(shù)據(jù)量，文獻[10-14]中多表示為少量有標簽數(shù)據(jù)，很少有人進行量化研究和探究減少有標簽數(shù)據(jù)的措施，如果能減少所需要的有標簽數(shù)據(jù)量，則能大量減少人工標簽的時間，節(jié)約人力成本。普通的深度學(xué)習網(wǎng)絡(luò)采用一個固定的學(xué)習率，這樣對學(xué)習率的設(shè)置需要大量經(jīng)驗，設(shè)置過大會導(dǎo)致難以收斂或跳過最優(yōu)值，設(shè)置過小會導(dǎo)致收斂速度過慢，文獻[15-23]研究了動態(tài)學(xué)習率解決這個問題，但其研究主要集中在CNN 和DBN 上，利用動態(tài)調(diào)節(jié)學(xué)習率加快收斂速度和收斂精度。

本文基于堆疊自編碼網(wǎng)絡(luò)進行軸承故障診斷研究，提出動態(tài)調(diào)節(jié)學(xué)習率取代原始的固定學(xué)習率進行預(yù)訓(xùn)練，通過不同有標簽數(shù)據(jù)量反向微調(diào)，研究不同學(xué)習率和有標簽數(shù)據(jù)量對于軸承故障分類識別的影響。

2 堆疊自編碼深度神經(jīng)網(wǎng)絡(luò)

2.1 自編碼器

自編碼器（auto-encoder）是 Rumelhart 在 1986 年提出的一種單隱藏層神經(jīng)網(wǎng)絡(luò)[24]，其結(jié)構(gòu)如圖1所示，這種網(wǎng)絡(luò)是在無監(jiān)督學(xué)習的方式下，使得輸入和輸出盡可能保持一致。假設(shè)輸入為n維的數(shù)據(jù)X，輸出為n維的數(shù)據(jù)Y，輸入數(shù)據(jù)通過全連接的方式加權(quán)求和，加上偏置之后在激活函數(shù)的作用下，得到隱藏層H，數(shù)據(jù)維度為k維，隱藏層再通過同種方式得到輸出層，然后利用反向傳播算法，以縮小輸入、輸出的差異為目標，對權(quán)值和偏置進行迭代更新，直到滿足誤差的要求或是迭代步數(shù)的要求。自編碼器數(shù)學(xué)表達如下：

式中，Wa∈ Rn×k、Ws∈ Rk×n、ba∈ Rk、bs∈ Rk為需要優(yōu)化求解的權(quán)值和偏置，σa(?)、σs(?)為激活函數(shù)。

圖1 自編碼器結(jié)構(gòu)示意圖

2.2 堆疊自編碼網(wǎng)絡(luò)

堆疊自編碼網(wǎng)絡(luò)（SAE）由 Hinton 于 2006 年對Rumelhart 提出的自編碼器進行改進而來[25]，其結(jié)構(gòu)圖如圖2所示。將自編碼器的編碼部分進行堆疊，即第一層自編碼器的輸入為原始數(shù)據(jù)，自此下一層自編碼器的輸入為上一層自編碼器的隱藏層數(shù)據(jù)，最后給網(wǎng)絡(luò)加上分類器，就構(gòu)成了SAE。堆疊自編碼網(wǎng)絡(luò)采用的是預(yù)訓(xùn)練和反向微調(diào)相結(jié)合的訓(xùn)練方式，即先用大量的無標簽數(shù)據(jù)進行無監(jiān)督學(xué)習，自主提取特征，然后利用有標簽數(shù)據(jù)對網(wǎng)絡(luò)反向微調(diào)。預(yù)訓(xùn)練和反向微調(diào)過程采用的均是梯度下降算法。

圖2 SAE結(jié)構(gòu)示意圖

3 數(shù)據(jù)來源和數(shù)據(jù)處理

3.1 數(shù)據(jù)來源

實驗數(shù)據(jù)源于美國西儲大學(xué)（CWRU）軸承數(shù)據(jù)中心[26]，CWRU數(shù)據(jù)集是世界公認的軸承故障診斷標準數(shù)據(jù)集。所使用的軸承故障位置為外圈滾道、內(nèi)圈滾道、滾動體，故障的程度為3 類，分別為0.18 mm、0.36 mm、0.54 mm，9 種故障數(shù)據(jù)加上正常的數(shù)據(jù)就得到了10 種狀態(tài)的軸承數(shù)據(jù)，數(shù)據(jù)集為用加速度傳感器采集的電機殼體的驅(qū)動端的振動，頻率為12 kHz。每種狀態(tài)使用中間位置的120 990 個節(jié)點的數(shù)據(jù)，取前50 990 個節(jié)點為訓(xùn)練數(shù)據(jù)，其余為測試數(shù)據(jù)。

3.2 數(shù)據(jù)處理

3.2.1 歸一化

實驗使用原始的軸承數(shù)據(jù)，只對振動數(shù)據(jù)進行歸一化，歸一化公式如下[8]：

3.2.2 數(shù)據(jù)集增強

設(shè)置每個樣本的數(shù)據(jù)長度為1 000，為了得到更多的訓(xùn)練樣本，采用滑動窗口重疊采樣數(shù)據(jù)增強技術(shù)[27]，原理如圖3 所示，偏移量設(shè)置為10，得到每種狀態(tài)的訓(xùn)練數(shù)據(jù)的樣本量為5 000，測試數(shù)據(jù)不進行重疊，得到每種狀態(tài)的測試數(shù)據(jù)樣本量為70，這樣訓(xùn)練數(shù)據(jù)樣本總和為50 000，測試數(shù)據(jù)樣本總和為700。

圖3 數(shù)據(jù)增強原理圖

4 實驗過程及結(jié)果

實驗在MATLAB2014b 平臺上進行，激活函數(shù)為sigmoid，輸出分類器為softmax，使用GPU進行加速運算。

4.1 網(wǎng)絡(luò)結(jié)構(gòu)確定

設(shè)置恒定的預(yù)訓(xùn)練學(xué)習率為0.1，預(yù)訓(xùn)練迭代次數(shù)為700步，反向微調(diào)學(xué)習率為0.01，反向微調(diào)有標簽樣本占比為10%，迭代次數(shù)為1 000步，batchsize設(shè)置為100。根據(jù)文獻[22]BP 神經(jīng)網(wǎng)絡(luò)關(guān)于隱含層節(jié)點數(shù)的經(jīng)驗公式：

其中，m為輸入數(shù)據(jù)節(jié)點長度，n為輸出數(shù)據(jù)節(jié)點長度，k為[0，10]以內(nèi)的常數(shù)。結(jié)合實例，確定隱含層節(jié)點數(shù)為105。

為研究不同隱含層層數(shù)對于軸承故障分類識別的影響，設(shè)置隱含層層數(shù)分別為1、2、3、4、5、6層的對比實驗，取十次結(jié)果的平均值作為最終結(jié)果，得到的準確率如表1。

表1 不同隱含層層數(shù)的結(jié)果對比

從表1可以看出，隱含層層數(shù)為3時準確率最高，當隱含層層數(shù)為6時，準確率隨著層數(shù)的增加下降速度變快。以上結(jié)果說明，網(wǎng)絡(luò)結(jié)構(gòu)太淺不利于數(shù)據(jù)特征的表達，太深則會導(dǎo)致網(wǎng)絡(luò)特征的丟失。

采用下一層隱含層節(jié)點數(shù)為當前層節(jié)點數(shù)的一半的策略對網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化[28]，確定網(wǎng)絡(luò)結(jié)構(gòu)為[1 000-500-250-125-10]，并與其他網(wǎng)絡(luò)結(jié)構(gòu)進行對比分析，所有結(jié)果均為實驗十次取平均值。

從表2 可以看出，采用[1 000-500-250-125-10]網(wǎng)絡(luò)結(jié)構(gòu)的準確率最高，在后續(xù)的研究中選取該網(wǎng)絡(luò)結(jié)構(gòu)。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)準確率對比

4.2 動態(tài)學(xué)習率

梯度下降法訓(xùn)練SAE 網(wǎng)絡(luò)實質(zhì)就是利用損失函數(shù)對權(quán)重的偏導(dǎo)數(shù)迭代調(diào)整網(wǎng)絡(luò)的權(quán)重，其中權(quán)值的更新計算公式如下：

式中，Wi和Wi+1是計算過程中第i次迭代和第i+1 次迭代過程中的權(quán)值，η為學(xué)習率，Li為損失函數(shù)。

學(xué)習率是訓(xùn)練過程中一個非常重要的參數(shù)[18]。過大的學(xué)習率會導(dǎo)致收斂困難或跳過最優(yōu)解，而過小的學(xué)習率則會導(dǎo)致收斂速度過慢，增加計算時間，不利于效率的提高，為了解決這一問題，需要采用非恒定的學(xué)習率。

由于損失函數(shù)對權(quán)重的偏導(dǎo)數(shù)較為復(fù)雜，選取預(yù)訓(xùn)練中輸入數(shù)據(jù)的重構(gòu)誤差作為學(xué)習率調(diào)整的依據(jù)，參考文獻[16]，確定如下的學(xué)習率調(diào)整策略：

其中，h(i)為迭代次數(shù)為i時的學(xué)習率，h(i+1)為迭代次數(shù)為i+1 時的學(xué)習率，ΔLi為迭代次數(shù)為i(i ＞2)次時重構(gòu)誤差的梯度，采用向前差商法計算重構(gòu)誤差的梯度，求解方法如式（9）所示：

通過式（9）的計算，當重構(gòu)誤差波動下降時，得到的重構(gòu)梯度為負，這樣學(xué)習率便以較慢的方式減小，避免學(xué)習率減小過快。為了避免學(xué)習率過低導(dǎo)致梯度消失的問題，將學(xué)習率的范圍限制在0.01～5范圍內(nèi)。動態(tài)調(diào)節(jié)學(xué)習率的預(yù)訓(xùn)練流程如圖4所示。

分別設(shè)置固定學(xué)習率為0.01、0.1、0.2、0.3與該動態(tài)調(diào)節(jié)的學(xué)習率進行對比實驗，動態(tài)調(diào)節(jié)的學(xué)習率初始值設(shè)置為0.2，其他網(wǎng)絡(luò)超參數(shù)保持一致，得到的重構(gòu)誤差曲線如圖5所示。

從圖5 可以看出，學(xué)習率為0.2、0.1、0.01 和動態(tài)調(diào)節(jié)時，重構(gòu)誤差整體都隨著迭代次數(shù)的增加而減小，在學(xué)習率為0.3時，在迭代初期網(wǎng)絡(luò)發(fā)散，最終會陷入局部最優(yōu)解；網(wǎng)絡(luò)700 次迭代結(jié)束時，0.01 學(xué)習率并未穩(wěn)定（未收斂），重構(gòu)誤差具有明顯的下降趨勢，0.1、0.2和動態(tài)調(diào)節(jié)學(xué)習率曲線基本穩(wěn)定（收斂），其中動態(tài)調(diào)節(jié)學(xué)習率曲線穩(wěn)定值比其他三者都低，0.2 固定學(xué)習率的重構(gòu)誤差穩(wěn)定值小于0.1固定學(xué)習率對應(yīng)的值。從重構(gòu)誤差下降速度上來看，在最初階段，動態(tài)調(diào)節(jié)學(xué)習率和0.2固定學(xué)習率的重構(gòu)誤差下降速度最快，在迭代進行到20步左右時，動態(tài)調(diào)節(jié)學(xué)習率的重構(gòu)誤差下降速度超過0.2固定學(xué)習率，整體上，動態(tài)調(diào)節(jié)學(xué)習率達到穩(wěn)定所需要的迭代步數(shù)最少。表3 展示了各種學(xué)習率網(wǎng)絡(luò)迭代過程耗時和收斂時的重構(gòu)誤差，從表中可以看出采用動態(tài)調(diào)節(jié)學(xué)習率的收斂時間相比于較優(yōu)的固定學(xué)習率要減少17.70%，重構(gòu)誤差下降了22.92%。

圖4 動態(tài)調(diào)節(jié)學(xué)習率的預(yù)訓(xùn)練流程圖

圖5 不同學(xué)習率下的重構(gòu)誤差

表3 不同學(xué)習率對應(yīng)的結(jié)果對比

4.3 不同有標簽樣本量

有標簽樣本占比為10%時，通過SAE預(yù)訓(xùn)練和反向微調(diào)，達到了98.97%的正確率，為了探究有標簽樣本量對于SAE網(wǎng)絡(luò)反向微調(diào)過程的影響，進一步設(shè)置了有標簽樣本量分別占總樣本量1%、2%、3%、4%、5%、6%、7%、8%、9%九個不同組。為了保證有標簽樣本占比越大，包含的信息越多，有標簽樣本的增加規(guī)則如圖6 所示，圖中2%有標簽樣本由前面的1%有標簽樣本加上另外的1%有標簽樣本組成，3%有標簽樣本由前面的2%有標簽樣本加上另外的1%有標簽樣本組成，以此類推。

圖6 有標簽樣本的增加規(guī)則

分別采用0.1固定學(xué)習率和動態(tài)調(diào)節(jié)學(xué)習率的預(yù)訓(xùn)練方式得到的權(quán)值和偏置進行有監(jiān)督的反向微調(diào)，故障分類準確率結(jié)果為進行十次實驗得到的平均值，實驗結(jié)果如圖7 和圖8 所示，圖8 為動態(tài)調(diào)節(jié)學(xué)習率的結(jié)果。由圖7 可以看出，相比于固定學(xué)習率，動態(tài)調(diào)節(jié)學(xué)習率在相同的有標簽樣本量下得到的準確率更高，因此達到相同的準確率，動態(tài)調(diào)節(jié)學(xué)習所需的有標簽樣本量更少；準確率隨著有標簽樣本量變化可以分成兩段，第一段是在有標簽樣本量從10%減少到6%時，準確率隨著有標簽樣本量的減少下降較慢，第二段是在有標簽樣本量小于6%時，識別率隨著有標簽樣本量減少，下降速度比第一段快。從圖8 可以看出，有標簽樣本量越多，達到90%準確率所需要的迭代步數(shù)越少，網(wǎng)絡(luò)收斂所需要的迭代次數(shù)也減少，收斂也越來越容易，在綜合考慮迭代次數(shù)和準確率，當有標簽樣本量占比為8%左右時，所得到的結(jié)果最優(yōu)。

圖7 兩種學(xué)習率準確率變化圖

圖8 不同有標簽樣本量準確率隨迭代步數(shù)變化圖

從表4可以看出，該動態(tài)調(diào)節(jié)學(xué)習率的SAE模型在故障識別準確率上較以往研究中所使用的模型高。

表4 準確率結(jié)果對比

5 可視化

t 分布隨機鄰域嵌入算法（t-distributed Stochastic Neighbor Embedding，t-SNE），由Laurens van der Maaten和 Geoffrey Hinton 于 2008 年提出，t-SNE 算法在降維、聚類、可視化的應(yīng)用上取得了良好的效果。利用t-SNE對10%、5%、1%有標簽樣本量的第三隱含層的數(shù)據(jù)進行可視化，結(jié)果如圖9～圖11所示。

圖9 1%有標簽樣本可視化

圖10 5%有標簽樣本可視化

從圖9～11可以看出，圖11的故障區(qū)分效果最好，每種故障類型都能區(qū)分，圖10相對于圖11，有少數(shù)故障類型未能區(qū)分，圖9有較多的數(shù)據(jù)重疊。對比圖9、圖10以及圖11，三者都實現(xiàn)了故障的聚類，只是缺少有標簽樣本對各種故障進行區(qū)分，導(dǎo)致故障識別準確率的下降。

圖11 10%有標簽樣本可視化

6 結(jié)束語

本文從普通的SAE 模型出發(fā)，通過對比實驗的方法，確定了最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，在此基礎(chǔ)上，從學(xué)習率的角度改進了普通SAE模型，并使用不同數(shù)量的有標簽樣本進行網(wǎng)絡(luò)的微調(diào)。通過以上研究得到如下結(jié)論：

（1）提出了一種動態(tài)調(diào)節(jié)學(xué)習率方法，改進了SAE網(wǎng)絡(luò)。該方法在初始時刻給予一個較大的學(xué)習率，并在迭代過程中依據(jù)重構(gòu)誤差梯度的正負，確定不同學(xué)習率的減小策略，為SAE 網(wǎng)絡(luò)動態(tài)更新一個較合適的學(xué)習率。實驗表明，相比固定學(xué)習率的SAE網(wǎng)絡(luò)，該動態(tài)調(diào)節(jié)學(xué)習率的SAE 網(wǎng)絡(luò)預(yù)訓(xùn)練收斂時間減少17.70%，重構(gòu)誤差下降22.92%，相對于以往的普通模型，故障分類識別的準確率更高。

（2）對于SAE 網(wǎng)絡(luò)，反向微調(diào)過程中軸承故障有標簽樣本量越多，故障分類的準確率越高，模型更快或更容易收斂，當有標簽樣本量占超過6%時，隨著有標簽樣本量的減少，準確率降低幅度較小。

（3）相比于固定學(xué)習率方式，采用該動態(tài)調(diào)節(jié)學(xué)習率進行預(yù)訓(xùn)練得到的SAE網(wǎng)絡(luò)權(quán)值和偏置，經(jīng)過反向微調(diào)，在達到相同準確率下所需的有標簽樣本量更少。