時(shí)培明 吳術(shù)平 于越 張宇 許學(xué)方

摘要：針對(duì)現(xiàn)有的滾動(dòng)軸承診斷模型特征提取能力不足、診斷準(zhǔn)確率不高的問題，提出一種注意力機(jī)制與一維深度殘差網(wǎng)絡(luò)相結(jié)合的故障診斷方法。該方法首先通過(guò)引入殘差結(jié)構(gòu)來(lái)防止深度網(wǎng)絡(luò)性能退化，然后結(jié)合注意力機(jī)制來(lái)提高網(wǎng)絡(luò)的特征提取能力，最后使用原始的滾動(dòng)軸承振動(dòng)信號(hào)訓(xùn)練故障特征分類器。針對(duì)變工況故障診斷，本文采用小樣本遷移學(xué)習(xí)框架。在兩個(gè)開源實(shí)驗(yàn)平臺(tái)上的結(jié)果表明，該方法能夠有效地提高滾動(dòng)軸承故障診斷的準(zhǔn)確率，為實(shí)際應(yīng)用提供一定的理論參考。

關(guān)鍵詞：滾動(dòng)軸承；注意力機(jī)制；殘差網(wǎng)絡(luò)；特征提??；遷移學(xué)習(xí)

中圖分類號(hào)： TH113.1文獻(xiàn)標(biāo)識(shí)碼： ADOI：10.3969/j.issn.1007-791X.2024.01.0050

引言

滾動(dòng)軸承是旋轉(zhuǎn)機(jī)械設(shè)備中必不可少的零部件之一[1]，起著支撐旋轉(zhuǎn)體、降低傳動(dòng)設(shè)備摩擦系數(shù)等作用。滾動(dòng)軸承已廣泛用在各類工業(yè)產(chǎn)品中，如電動(dòng)機(jī)、內(nèi)燃機(jī)等，滾動(dòng)軸承的健康狀態(tài)在很大程度上決定著這些機(jī)械設(shè)備能否正常運(yùn)行。一旦滾動(dòng)軸承出現(xiàn)故障，輕則可能造成設(shè)備停機(jī)、企業(yè)停產(chǎn)，重則可能造成嚴(yán)重的生產(chǎn)事故、人員傷亡等[2]，給企業(yè)生產(chǎn)、國(guó)民經(jīng)濟(jì)帶來(lái)不小的損失。

深度學(xué)習(xí)的發(fā)展和應(yīng)用給滾動(dòng)軸承的故障診斷帶來(lái)了新的研究方法，這極大地克服了傳統(tǒng)的基于信號(hào)處理方法的特征提取不足、診斷精度不高、需要大量的專家經(jīng)驗(yàn)等缺點(diǎn)。

近年來(lái)，各種神經(jīng)網(wǎng)絡(luò)在滾動(dòng)軸承故障診斷的研究和應(yīng)用層出不窮，研究成果呈現(xiàn)出井噴的增長(zhǎng)趨勢(shì)。趙小強(qiáng)等[3]改進(jìn)了傳統(tǒng)的LeNet-5網(wǎng)絡(luò)，并采用L2正則化等方法優(yōu)化了網(wǎng)絡(luò)，使得新網(wǎng)絡(luò)具備更強(qiáng)的特征提取能力。畢鵬遠(yuǎn)[4]提出了一種卷積與長(zhǎng)短期記憶網(wǎng)絡(luò)相結(jié)合的模型，得到了較好的故障診斷精度。譚帥等[5]提出周期記憶神經(jīng)網(wǎng)絡(luò)，利用時(shí)序信號(hào)內(nèi)在的時(shí)序關(guān)聯(lián)關(guān)系進(jìn)行故障診斷，實(shí)現(xiàn)了軸承的故障診斷。黃磊等[6]基于經(jīng)驗(yàn)?zāi)B(tài)分解、格拉姆算法和GoogLeNet網(wǎng)絡(luò)，使得診斷的準(zhǔn)確率達(dá)到了一定高度。劉杰等[7]基于最小二乘生成對(duì)抗網(wǎng)絡(luò)和SqueezeNet網(wǎng)絡(luò)，提高了樣本不足條件下的故障診斷準(zhǔn)確率。姜萬(wàn)錄等[8]提出一種基于平滑偽WignerVille分布和深度學(xué)習(xí)相結(jié)合的診斷方法，可以較好地識(shí)別故障軸承。

上述的各種網(wǎng)絡(luò)模型都用到了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN），但其結(jié)構(gòu)都較為固定，主要體現(xiàn)在CNN的感受野（Convolution Receptive Field， CRF）是單一的，這使得神經(jīng)網(wǎng)絡(luò)的適應(yīng)性受到極大的挑戰(zhàn)，表現(xiàn)為模型特征提取能力不強(qiáng)、訓(xùn)練成本高等。除此之外，一些學(xué)者將一維的振動(dòng)信號(hào)轉(zhuǎn)換成類似圖片的高維信號(hào)來(lái)研究，這不僅增加了數(shù)據(jù)和模型的復(fù)雜度，還可能使得振動(dòng)信號(hào)特征丟失[9]，從而給診斷過(guò)程帶來(lái)不必要的麻煩。

選擇性核網(wǎng)絡(luò)（Selective Kernel Networks， SKNet）擁有兩路不同的CRF，能有效提高神經(jīng)元的適應(yīng)能力，表現(xiàn)為該網(wǎng)絡(luò)允許每個(gè)神經(jīng)元根據(jù)輸入信息的多個(gè)尺度自適應(yīng)地調(diào)整CRF大小，還會(huì)通過(guò)權(quán)重的調(diào)整使模型專注于較為重要的特征通道，從而可以更好地識(shí)別故障特征，故SKNet又稱為注意力機(jī)制。殘差結(jié)構(gòu)通過(guò)特有的短接層使得深度網(wǎng)絡(luò)性能不會(huì)退化，為更深層的網(wǎng)絡(luò)搭建提供了基礎(chǔ)。

綜合上述考慮，本文提出一種注意力機(jī)制結(jié)合殘差結(jié)構(gòu)的網(wǎng)絡(luò)模型MSD-ResNet1D（Modified SKNet with Deep ResNet1D）。在兩個(gè)數(shù)據(jù)集上的實(shí)踐表明MSD-ResNet1D在滾動(dòng)軸承故障診斷中有著優(yōu)良的表現(xiàn)，具有應(yīng)用價(jià)值。

1ResNet1D網(wǎng)絡(luò)

1.1殘差結(jié)構(gòu)

深度殘差網(wǎng)絡(luò)擁有獨(dú)特的殘差單元[10]，其特點(diǎn)在于短接線的引入，如圖1所示。

模型在訓(xùn)練時(shí)，數(shù)據(jù)經(jīng)過(guò)新增的權(quán)重層，如果不能使得梯度下降，那么就僅僅復(fù)制淺層特征，即對(duì)淺層網(wǎng)絡(luò)進(jìn)行恒等映射，這樣保證了深度網(wǎng)絡(luò)的性能不會(huì)退化。

殘差單元的輸出公式：

y=F（x）+x， ???（1）

式中，x代表輸入，y代表輸出，F(xiàn)（x）代表經(jīng)過(guò)權(quán)重層的結(jié)果。

1.2組卷積

組卷積的概念最早出現(xiàn)在2012年提出的AlexNet網(wǎng)絡(luò)[11]。使用組卷積后，參數(shù)量減少為原來(lái)的1/g（g≥1）。不僅如此，組卷積還增加相鄰層過(guò)濾器之間的對(duì)角相關(guān)性，有效防止過(guò)擬合的產(chǎn)生。

1.3ResNet1D結(jié)構(gòu)

本文使用一維CNN搭建深度殘差網(wǎng)絡(luò)，因?yàn)樵嫉臐L動(dòng)軸承振動(dòng)數(shù)據(jù)本身為一維數(shù)據(jù)，使用一維CNN可以直接對(duì)數(shù)據(jù)進(jìn)行特征提取，故稱該網(wǎng)絡(luò)為ResNet1D。ResNet1D網(wǎng)絡(luò)有10層，由1個(gè)卷積層、4個(gè)殘差單元以及1個(gè)全連接層組成，且將ResNet1D的所有卷積設(shè)置為組卷積。網(wǎng)絡(luò)的詳細(xì)信息如表1所示。

2 SKNet網(wǎng)絡(luò)

2.1SKNet簡(jiǎn)介及改進(jìn)

SKNet是由Li等人提出的一種輕量化網(wǎng)絡(luò)結(jié)構(gòu)[12]，用于圖像分類并取得顯著的成績(jī)。筆者根據(jù)滾動(dòng)軸承故障診斷的實(shí)際背景和數(shù)據(jù)維度對(duì)其進(jìn)行改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)（Modified SKNet，M-SKNet）結(jié)構(gòu)如圖2所示。

SKNet的設(shè)計(jì)體現(xiàn)了多CRF特征融合的思想，使得模型能夠捕獲多尺度的信息，再者是對(duì)不同尺寸卷積核的輸出結(jié)果進(jìn)行權(quán)重分配，希望更能突出有用的數(shù)據(jù)信息，故稱其為注意力機(jī)制。

2.2空洞卷積

空洞卷積是指在普通卷積核中引入空洞0，以此擴(kuò)大CNN的CRF，捕獲更大尺度的數(shù)據(jù)信息。圖2中，Conv_A代表普通的卷積，其卷積核為1×3×C，C代表通道數(shù)，而Conv_B代表空洞卷積，其卷積核與Conv_A的一樣，但是其膨脹系數(shù)為2，最終其卷積核為大小為1×5×C。

空洞卷積不僅擴(kuò)大了感受野，并且由于填充了0，所以其計(jì)算量也變小了[13]。其次，當(dāng)Conv_A和Conv_B的結(jié)果進(jìn)行相加時(shí)，由于兩個(gè)卷積有不同的膨脹系數(shù)，將會(huì)使得相加的結(jié)果攜帶多尺度信息，

U3=U1+U2， ???（2）

式中，U3代表相加的結(jié)果。

2.3自適應(yīng)平均池化

自適應(yīng)平均池化，即圖2中的Sequeeze操作，公式為

式中，U4代表輸出的結(jié)果，U3i代表該維度的元素，N代表該維度元素總量。自適應(yīng)平均池化的目的是用一個(gè)數(shù)去表示一個(gè)特征通道。

2.4全連接層

圖2中的FC為全連接層，公式為

W=convfd（U4）， ???（4）

U5=δ（β（W））， ???（5）

式（4）中，convfd代表卷積核為1×1的卷積，用于代替全連接層，其作用是將數(shù)據(jù)的通道從f變換到

式（5）中，δ代表RELU激活函數(shù)，β代表批歸一化函數(shù)。式（6）中，r代表指定的縮小比例，L是一個(gè)指定的實(shí)驗(yàn)值，max代表取最大值，int代表取整數(shù)值。

2.5Softmax層

圖2中，Softmax層的公式為

式中，Zi代表第i個(gè)節(jié)點(diǎn)的輸出值，i∈［0，N］。

U5經(jīng)過(guò)Softmax層，得到歸一化的概率值，使得ai+bi=1。

3 MSD-ResNet1D與遷移學(xué)習(xí)

3.1 MSD-ResNet1D網(wǎng)絡(luò)

將ResNet1D與M-SKNet網(wǎng)絡(luò)結(jié)合在一起，組合成MSD-ResNet1D網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)和診斷流程如圖3所示。

圖3中，“殘差層M-SKNet”代表的是M-SKNet與殘差層4（如表1所示）的結(jié)合。這樣的結(jié)合方式，使得M-SKNet網(wǎng)絡(luò)在數(shù)據(jù)進(jìn)入全連接層之前有選擇性地發(fā)揮作用，與殘差結(jié)構(gòu)防止深度網(wǎng)絡(luò)性能退化是同理的。

3.2小樣本遷移學(xué)習(xí)

網(wǎng)絡(luò)模型的訓(xùn)練需要一定的數(shù)據(jù)量，但實(shí)際上在一些工況下數(shù)據(jù)量短缺，不可能從零開始訓(xùn)練出良好的模型，針對(duì)這個(gè)問題，本文采用小樣本遷移學(xué)習(xí)[14]的方式，即以MSD-ResNet1D為特征提取網(wǎng)絡(luò)，以小樣本遷移學(xué)習(xí)為基本框架。

4早停機(jī)機(jī)制與隨機(jī)定點(diǎn)取樣

4.1早停機(jī)機(jī)制

在模型的訓(xùn)練中，訓(xùn)練的次數(shù)較為依靠專家經(jīng)驗(yàn)，且模型的訓(xùn)練次數(shù)并不是越多越好，次數(shù)過(guò)多容易造成模型過(guò)擬合，也會(huì)影響模型的泛化性能。

為了解決這個(gè)問題，本文引用早停機(jī)機(jī)制EarlyStop的思想，并提出一種結(jié)合Metropolis接收準(zhǔn)則的早停機(jī)機(jī)制構(gòu)想（Metropolis Early Stop， MES）。

Metropolis準(zhǔn)則通常與模擬退火算法相結(jié)合，所以也叫退火概率[15]，公式為

式中，PTij代表接受的概率，E（i）和E（j）代表物體在狀態(tài)i和j下的內(nèi)能，T代表此刻的溫度，K代表玻爾茲曼常數(shù)。MES基本流程如圖4所示。

圖4中，n代表第一階段訓(xùn)練次數(shù)，N代表訓(xùn)練次數(shù)上限。L=SAcc×SLoss，其中SAcc代表準(zhǔn)確率較上次變化的趨勢(shì)，如果上升，記3分，否則記1分；同理，SLoss代表?yè)p失值較上次的變化趨勢(shì)，如果下降，記2分，否則記1分。M準(zhǔn)則如下：

式中，接收值V即為模型繼續(xù)向下訓(xùn)練的概率。

相較于Pytorch、TensorFlow等深度學(xué)習(xí)框架提供的早停機(jī)API而言，MES機(jī)制有著更高的靈活性和實(shí)際問題針對(duì)性，表現(xiàn)在該機(jī)制可以根據(jù)需求設(shè)置和使用。

4.2隨機(jī)定點(diǎn)取樣

傳統(tǒng)的按順序采樣（Order Sampling， OS）的數(shù)據(jù)，由于過(guò)多的時(shí)序依賴而使模型不可避免地具有較強(qiáng)的思維定式，模型的泛化性能存疑，而實(shí)際工況下采集的數(shù)據(jù)不一定是連續(xù)的，具有很強(qiáng)的隨機(jī)性。為此本文提出一種數(shù)據(jù)的取樣方式——隨機(jī)定點(diǎn)取樣（Random Sampling， RS），取樣過(guò)程如圖5所示。

圖5中，i，j≥1且i≠j，n，m≥1且n≠m。這種方式取出的來(lái)的數(shù)據(jù)具有隨機(jī)、多樣以及交叉融合的性質(zhì)，前后兩組數(shù)據(jù)有一定的相關(guān)性，但不一定強(qiáng)，更能模擬出實(shí)際工況下取出的數(shù)據(jù)狀態(tài)。

5實(shí)驗(yàn)

5.1實(shí)驗(yàn)數(shù)據(jù)

選取兩個(gè)實(shí)驗(yàn)平臺(tái)的滾動(dòng)軸承振動(dòng)數(shù)據(jù)，因?yàn)檎駝?dòng)信號(hào)易于測(cè)量和采集，而且包含了豐富的故障信息[16]。

1） 凱斯西儲(chǔ)大學(xué)數(shù)據(jù)集[17]，簡(jiǎn)稱CWRU數(shù)據(jù)集。數(shù)據(jù)集詳細(xì)信息如下：采樣頻率為12 kHz，故障尺寸分別為0.177 8、0.355 6、0.533 4 mm，負(fù)載電機(jī)功率分別為0、1、2、3 hp，測(cè)點(diǎn)為驅(qū)動(dòng)端（Driver End，DE）、風(fēng)扇端（Fan End， FE），數(shù)據(jù)類別有：內(nèi)圈故障、外圈故障、滾動(dòng)體故障、正常。

2） 江南大學(xué)數(shù)據(jù)集[18]，簡(jiǎn)稱JN數(shù)據(jù)集。數(shù)據(jù)集詳細(xì)信息如下：采樣頻率為50 kHz，轉(zhuǎn)速分別為600、800、1 000 r/min，數(shù)據(jù)類別與CWRU數(shù)據(jù)集的類別相同。

由（1）的表述可知，CWRU數(shù)據(jù)每類故障有3種尺寸，所以故障類別可以分為10小類（考慮故障尺寸）或4大類（不考慮故障尺寸），且CWRU數(shù)據(jù)由于實(shí)驗(yàn)平臺(tái)的原因顯得較為理想，為了模擬實(shí)際工作環(huán)境，以信噪比（Signal to Noise Ratio， SNR）的形式給CWRU數(shù)據(jù)集添加噪聲，信噪比的表達(dá)式為

其中，PS和PN分別代表信號(hào)和噪聲的有效功率，通常認(rèn)為當(dāng)SNR≤0時(shí)，信號(hào)處于強(qiáng)噪聲環(huán)境。

5.2對(duì)比模型

為了與同類方法（基于深度學(xué)習(xí)的方法）在診斷準(zhǔn)確率、模型參數(shù)量等方面進(jìn)行對(duì)比，選取并搭建一些常用的網(wǎng)絡(luò)。

1） ResNet1D：該網(wǎng)絡(luò)與MSD-ResNet1D相比，僅缺少M(fèi)-SKNet。

2） ResNet2D：該網(wǎng)絡(luò)的結(jié)構(gòu)與（1）相同，只是將一維 CNN換成了二維 CNN。

3） LeNet5：該網(wǎng)絡(luò)是由科學(xué)家Yann Lecun等人提出[19]，由二維 CNN、池化層、全連接層組成，選用RELU激活函數(shù)。

4） MLP：搭建多層感知機(jī)MLP模型，選用Adam優(yōu)化器，學(xué)習(xí)率0.001，隱藏層數(shù)為5。

5.3實(shí)驗(yàn)結(jié)果

5.3.1實(shí)驗(yàn)一：非變工況實(shí)驗(yàn)

訓(xùn)練MSD-ResNet1D模型。選取CWRU數(shù)據(jù)集0HP工況下DE端數(shù)據(jù)，分10個(gè)類別，按照隨機(jī)定點(diǎn)取樣的方式，每個(gè)類別選取50組數(shù)據(jù)，每組數(shù)據(jù)包含625個(gè)數(shù)據(jù)點(diǎn)，作為訓(xùn)練集TrainingSet。不重合地選取一定的數(shù)據(jù)作為驗(yàn)證集VaildingSet。引入MES早停機(jī)機(jī)制，在該機(jī)制內(nèi)，對(duì)模型準(zhǔn)確率的需求設(shè)置為95%，達(dá)到后允許繼續(xù)尋優(yōu)。模型訓(xùn)練時(shí)的損失和分類準(zhǔn)確率、故障數(shù)據(jù)召回率隨次數(shù)的變化如圖6所示。

通過(guò)引入MES機(jī)制，模型僅訓(xùn)練了33次。選取不同于TrainingSet和VaildingSet的數(shù)據(jù)作為測(cè)試集TestingSet，得到模型在10類下的準(zhǔn)確率為99.1%，在4類下的準(zhǔn)確率為99.2%，故障數(shù)據(jù)召回率、故障數(shù)據(jù)精確度均為100%，混淆矩陣如圖7所示。

圖7中，G1、G2、G3代表滾動(dòng)體故障大類，G4、G5、G6代表內(nèi)圈故障大類，G7、G8、G9代表外圈故障大類。使用相同的TrainingSet訓(xùn)練其他模型，根據(jù)實(shí)際的模型情況調(diào)整訓(xùn)練次數(shù)，分別得到效果最好的各類模型。隨機(jī)選取測(cè)試數(shù)據(jù)5次，分別得到ResNet1D、ResNet2D、LeNet5，MLP模型在10類別下的準(zhǔn)確率均值為（95.4±0.4）%、（90.6±0.6）%、（85.4±0.5）%、（80.9±0.5）%。可以看出，本文所提模型的診斷準(zhǔn)確率最高。各模型參數(shù)總量（Params）和浮點(diǎn)運(yùn)算數(shù)（FLOPs）如表2所示。

由表2可以看出，由于組卷積、M-SKNet網(wǎng)絡(luò)的使用，MSD-ResNet1D的參數(shù)總量是所提模型中最小的，浮點(diǎn)運(yùn)算數(shù)值僅大于LeNet5，MSD-ResNet1D擁有輕量、簡(jiǎn)便的特點(diǎn)。

為了能模擬實(shí)際工作環(huán)境下的故障診斷情形，給TestingSet添加不同程度的信噪比，故障類別分為4大類即可，各模型5次測(cè)量的平均準(zhǔn)確率如表3所示。

加入噪聲后，各模型故障診斷的準(zhǔn)確率都有所下降，但本文所提模型的平均準(zhǔn)確率依然維持最高水平，說(shuō)明M-SKNet的加入使得模型具備更強(qiáng)的特征提取能力和較強(qiáng)的魯棒性。

使用JN數(shù)據(jù)集，選取轉(zhuǎn)速為600 r/min下的數(shù)據(jù)，訓(xùn)練集TrainingSet、驗(yàn)證集VaildingSet、測(cè)試集TestingSet數(shù)據(jù)的整理和模型的訓(xùn)練過(guò)程不再贅述，得到MSD-ResNet1D模型的訓(xùn)練次數(shù)為48次，診斷準(zhǔn)確率為96.5%，故障數(shù)據(jù)召回率為99.6%。以相同的方式訓(xùn)練其他模型，分別得到ResNet1D、ResNet2D、LeNet5、MLP模型在600 r/min的轉(zhuǎn)速數(shù)據(jù)下5次測(cè)試的準(zhǔn)確率均值為（93.0±0.4）%、（90.2±0.3）%、（50.7±0.5）%、（40.6±0.4）%，MSD-ResNet1D仍然具有最高的診斷準(zhǔn)確率。與ResNet1D網(wǎng)絡(luò)的對(duì)比證明M-SKNet的加入起到了積極作用，此外，通過(guò)與LeNet5、MLP的對(duì)比可以證明殘差結(jié)構(gòu)是模型性能的一個(gè)重要保證。

5.3.2實(shí)驗(yàn)二：變工況實(shí)驗(yàn)

本小節(jié)針對(duì)MSD-ResNet1D網(wǎng)絡(luò)模型和數(shù)據(jù)采樣方法，在不同工況下進(jìn)行實(shí)驗(yàn)。

使用OS和RS兩種采樣方法，在CWRU的0HP-DE工況下采樣相同量的訓(xùn)練數(shù)據(jù)TrainingSet_OS和TrainingSet_RS，訓(xùn)練相同的次數(shù)，分別得到模型C_OS和C_RS。同理，在JN數(shù)據(jù)集600 r/min轉(zhuǎn)速的數(shù)據(jù)集下，得到模型J_OS和J_RS。測(cè)試數(shù)據(jù)也分為按順序取樣Testing_OS和隨機(jī)定點(diǎn)取樣Testing_RS數(shù)據(jù)，簡(jiǎn)稱TO和TR，上述4個(gè)模型在各數(shù)據(jù)集的其他工況下，診斷的準(zhǔn)確率如表4所示（CWRU測(cè)試數(shù)據(jù)無(wú)噪聲，數(shù)據(jù)類別均為4類）。

由表4可以看出，在兩個(gè)實(shí)驗(yàn)平臺(tái)上，通過(guò)隨機(jī)定點(diǎn)取樣的訓(xùn)練數(shù)據(jù)，能夠訓(xùn)練出泛化性能更強(qiáng)的網(wǎng)絡(luò)模型，具體表現(xiàn)為：在其他工況下，模型C_RS、J_RS比C_OS、J_OS具有更高的診斷準(zhǔn)確率，且在在不同工況的TO和TR測(cè)試數(shù)據(jù)下，診斷的準(zhǔn)確率都較為穩(wěn)定。

上述C_RS模型在CWRU變工況以及帶噪聲的測(cè)試數(shù)據(jù)上的診斷準(zhǔn)確率如表5所示（數(shù)據(jù)類別為4類）。

由上述實(shí)踐結(jié)果可知，某一工況數(shù)據(jù)下訓(xùn)練好的模型并不能直接用于其他工況，否則將導(dǎo)致故障診斷的準(zhǔn)確率低下，這是因?yàn)閿?shù)據(jù)在不同的工況下有不同的分布特征。針對(duì)這個(gè)問題，本文采用小樣本遷移學(xué)習(xí)的方法。

CWRU數(shù)據(jù)集中，僅選取0HP-FE端下的每個(gè)類別各5組隨機(jī)定點(diǎn)采樣的數(shù)據(jù)（無(wú)噪聲），作為遷移數(shù)據(jù)集，以C_RS模型為遷移對(duì)象。不重合地選取驗(yàn)證集VaildingSet和測(cè)試集TestingSet，結(jié)合MES機(jī)制，設(shè)定模型準(zhǔn)確率要求為95%。遷移訓(xùn)練過(guò)程中，模型的損失、準(zhǔn)確率和故障類別召回率隨訓(xùn)練次數(shù)的變化曲線如圖8所示。

經(jīng)過(guò)小樣本遷移學(xué)習(xí)，得到遷移模型C_RS_0-FE。由于訓(xùn)練數(shù)據(jù)集較少，所以訓(xùn)練的次數(shù)較多，一共訓(xùn)練了67次，且在訓(xùn)練過(guò)程中，驗(yàn)證集的10類準(zhǔn)確率長(zhǎng)期沒有達(dá)到設(shè)定的95%，故MES機(jī)制提前結(jié)束了訓(xùn)練過(guò)程。使用測(cè)試集TestingSet數(shù)據(jù)，C_RS_0-FE診斷的準(zhǔn)確率為92.8%（10類別）或96.4%（4類別），故障數(shù)據(jù)召回率和精確度均為100%，混淆矩陣如圖9所示。

相較于C_RS模型直接用于0HP-FE端數(shù)據(jù)，遷移后的模型，故障診斷準(zhǔn)確率提升了47.6%，體現(xiàn)出MSD-ResNet1D網(wǎng)絡(luò)可觀的特征提取能力和遷移學(xué)習(xí)的優(yōu)良性能。

使用類似的方法，以C_RS模型為遷移對(duì)象，對(duì)CWRU數(shù)據(jù)集DE端、FE端的各工況以及各種噪聲狀態(tài)進(jìn)行小樣本遷移學(xué)習(xí)。以J_RS為遷移對(duì)象，對(duì)JN數(shù)據(jù)集800 r/min、1 000 r/min轉(zhuǎn)速的數(shù)據(jù)進(jìn)行小樣本（5組/工況·類別-1）遷移學(xué)習(xí)。再以C_RS為遷移對(duì)象，以JN數(shù)據(jù)集三個(gè)工況的小樣本數(shù)據(jù)為遷移數(shù)據(jù)，進(jìn)行跨域（跨實(shí)驗(yàn)平臺(tái)遷移）。得到遷移后各數(shù)據(jù)集、各工況、跨域下，故障診斷的準(zhǔn)確率如表6所示（故障類別均為4類）。

表6中CWRU→JN表示跨域遷移。從表6實(shí)驗(yàn)數(shù)據(jù)可以看出，MSD-ResNet1D模型配合小樣本遷移學(xué)習(xí)框架，在變工況環(huán)境下取得了非常不錯(cuò)的診斷準(zhǔn)確率，在跨域診斷上也表現(xiàn)得較好。

使用相同的遷移數(shù)據(jù)對(duì)ResNet1D網(wǎng)絡(luò)進(jìn)行小樣本遷移學(xué)習(xí)，作為一組對(duì)比實(shí)驗(yàn)，因?yàn)樵?.3.2節(jié)各模型對(duì)比中，ResNet1D準(zhǔn)確率僅次于MSD-ResNet1D。使用實(shí)驗(yàn)一中訓(xùn)練好的ResNet1D模型，做與上表相同的遷移測(cè)試，得到表7所示的實(shí)驗(yàn)結(jié)果。

表7中，“（↑）”符號(hào)代表該位置準(zhǔn)確率優(yōu)于表6中對(duì)應(yīng)位置的值，但表7中實(shí)驗(yàn)數(shù)值普遍小于表6實(shí)驗(yàn)數(shù)值，證明本文對(duì)注意力機(jī)制SKNet的改進(jìn)和應(yīng)用是有助于網(wǎng)絡(luò)性能提升的。

6結(jié)論

本文提出的基于注意力機(jī)制和深度殘差網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷方法是一種集合型方法，通過(guò)實(shí)驗(yàn)驗(yàn)證可以得到以下結(jié)論：

1） 注意力機(jī)制SKNet的改進(jìn)和使用優(yōu)化了原始網(wǎng)絡(luò)性能，提高了網(wǎng)絡(luò)的故障數(shù)據(jù)特征提取能力，為后續(xù)特征分類器的訓(xùn)練提供了基礎(chǔ)，且SKNet具有輕量簡(jiǎn)便的優(yōu)點(diǎn)，便于應(yīng)用部署，在滾動(dòng)軸承故障診斷方面具有一定的優(yōu)越性。

2） 經(jīng)實(shí)驗(yàn)對(duì)比，通過(guò)殘差結(jié)構(gòu)搭建的網(wǎng)絡(luò)模型診斷的準(zhǔn)確率都相對(duì)較高，說(shuō)明基于殘差結(jié)構(gòu)的網(wǎng)絡(luò)有著優(yōu)良的性能，這是因?yàn)闅埐罱Y(jié)構(gòu)有效地防止了深度網(wǎng)絡(luò)性能退化。

3） 本文所提方法配合小樣本遷移學(xué)習(xí)框架有效地解決了變工況和跨域條件下的滾動(dòng)軸承故障診斷問題，取得了不錯(cuò)的診斷準(zhǔn)確率，優(yōu)于現(xiàn)有主流網(wǎng)絡(luò)，可用于實(shí)際工業(yè)環(huán)境的滾動(dòng)軸承故障診斷中。

參考文獻(xiàn)

[1] JIA F，LEI Y G，LIN J，et al. Deep neural networks：a promising tool for fault characteristic mining and intelligent diagnosis of rotating machinery with massive data[J]. Mechanical Systems and Signal Processing，2016，72/73：303-315.

[2] JIAO J， ZHAO M， LIN J， et al. Hierarchical discriminating sparse coding for weak fault feature extraction of rolling bearings[J]. Reliability Engineering & System Safety， 2019， 184：41-54.

[3] 趙小強(qiáng)，羅維蘭.改進(jìn)卷積Lenet-5神經(jīng)網(wǎng)絡(luò)的軸承故障診斷方法[J].電子測(cè)量與儀器學(xué)報(bào)，2022，36（6）：113-125.

ZHAO X Q， LUO W L. Bearing fault diagnosis method based on improved convolutional Lenet-5 neural network [J]. Journal of Electronic Measurement and Instrument， 2022， 36（6）： 113-125.

[4] 畢鵬遠(yuǎn).一種基于Conv-LSTM的滾動(dòng)軸承故障診斷方法[J]. 機(jī)電工程技術(shù)，2021，50（11）：113-115.

BI P Y. A Conv-LSTM-based fault diagnosis method for rolling bearings [J]. Electromechanical Engineering Technology， 2021， 50（11）： 113-115.

[5] 譚帥，馬遙，侍洪波，等. 基于時(shí)序關(guān)聯(lián)分析的旋轉(zhuǎn)機(jī)械故障診斷[J]. 振動(dòng)與沖擊，2022， 41（8）： 171-178.

TAN S， MA Y， SHI H B， et al. Fault diagnosis of rotating machinery based on time series correlation analysis [J]. Journal of Vibration and Shock， 2022， 41（8）： 171-178.

[6] 黃磊，馬圣，曹永華.基于GAF與GoogLeNet的軸承故障診斷研究[J].機(jī)床與液壓，2022，50（1）：193-198.

HUANG L， MA S， CAO Y H. Research on bearing fault diagnosis based on GAF and GoogLeNet[J]. Machine Tool & Hydraulics，2022，50（1）：193-198.

[7] 劉杰，李長(zhǎng)杰，蘇宇涵，等. 基于LSGAN-SqueezeNet的軸承故障診斷研究[J].振動(dòng)與沖擊，2022，41（12）：293-300.

LIU J， LI C J， SU Y H， et al. Research on bearing fault diagnosis based on LSGAN-SqueezeNet [J]. Journal of Vibration and Shock，2022，41（12）：293-300.

[8] 姜萬(wàn)錄，李振寶，雷亞飛，等.基于深度學(xué)習(xí)的滾動(dòng)軸承故障診斷與性能退化程度識(shí)別方法[J].燕山大學(xué)學(xué)報(bào)，2020，44（6）：526-536.

JIANG W L，LI Z B，LEI Y F， et al.Deep learning based rolling bearing fault diagnosis and performance degradation degree recognition method[J].Journal of Yanshan University，2020，44（6）：526-536.

[9]? 劉嵐， 侯立群. 基于改進(jìn)一維殘差網(wǎng)絡(luò)的軸承故障診斷[J]. 儀器儀表用戶， 2021，28（9）： 45-50.

LIU L， HOU L Q. Bearing fault diagnosis based on improved one-dimensional residual network [J]. Instrument User， 2021，28（9）： 45-50.

[10] 張小剛， 丁華， 王曉波，等. 深度殘差網(wǎng)絡(luò)在滾動(dòng)軸承故障診斷中的研究[J]. 機(jī)械設(shè)計(jì)與制造，2022（1）：77-80.

ZHANG X G，DING H， WANG X B， et al. Research on deep residual network in rolling bearing fault diagnosis [J]. Machinery Design & Manufacture， 2022（1）：77-80.

[11] KRIZHEVSKY A， SUTSKEVER I， HINTON G E.Imagenet classification with deep convolutional neural networks[J]. Communicationsof the ACM， 2017， 60（6）： 84-90.

[12] LI Z， HU F， WANG C， et al. Selective kernel networks for weakly supervised relation extraction[J]. CAAI Transactions on Intelligence Technology， 2021， 6（2）： 224-234.

[13] QIN Y， LUO H， Zhao F， et al. NDGCN： network in network， dilate convolution and graph convolutional networks based transportation mode recognition[J]. IEEE Transactions on Vehicular Technology， 2021， 70（3）：2138-2152.

[14] 陳仁祥， 唐林林， 胡小林，等. 不同轉(zhuǎn)速下基于深度注意力遷移學(xué)習(xí)的滾動(dòng)軸承故障診斷方法[J]. 振動(dòng)與沖擊， 2022， 41（12）： 95-101.

CHEN R X， TANG L L， HU X L， et al. Rolling bearing fault diagnosis method based on deep attention transfer learning at different speeds [J]. Journal of Vibration and Shock， 2022， 41（12）： 95-101.

[15] JIANG P，GE Y， WANG C. Research and application of a hybrid forecasting model based on simulated annealing algorithm： a case study of wind speed forecasting[J]. Journal of Renewable & Sustainable Energy， 2016， 8（1）：226-239.

[16] 王國(guó)彪， 何正嘉， 陳雪峰，等. 機(jī)械故障診斷基礎(chǔ)研究“何去何從”[J]. 機(jī)械工程學(xué)報(bào)， 2013， 49（1）：63-72.

WANG G B， HE Z J， CHEN X F， et al. "Where to go" for basic research on mechanical fault diagnosis [J]. Chinese Journal of Mechanical Engineering， 2013， 49（1）： 63-72.

[17] LOPARO K A. Western Reserve University bearings data center website [EB/OL].[2022-12-15].https：//engineering.case.edu/bearingdatacenter/download-data-file.

[18] LI K， PING X， WANG H， et al. Sequential fuzzy diagnosis method for motor roller bearing in variable operating conditions based on vibration analysis [J].Sensors，2013， 13（6）：8013-8041.

[19] LECUN Y， BOTTOU L.Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

Rolling bearing fault diagnosis based on attention mechanism

and depth residual network

SHI Peiming1， WU Shuping1， YU Yue1， ZHANG Yu2， XU Xuefang1

（1. School of Electrical Engineering， Yanshan University， Qinhuangdao， Hebei 066004， China;

2. School of Vehicle and Energy， Yanshan University， Qinhuangdao， Hebei 066004， China）

Abstract：Aiming at the problems of insufficient feature extraction ability and low diagnosis accuracy of existing rolling bearing diagnosis models， a fault diagnosis method combining attention mechanism and one-dimensional depth residual network was proposed. Firstly， the residual structure was introduced to prevent the performance degradation of the deep network， and then the feature extraction capability of the network was improved by combining the attention mechanism. Finally， the original rolling bearing vibration signals were used to train the fault feature classifier.In this paper， a small sample transfer learning framework was adopted for fault diagnosis in variable working conditions. The result of two open source experimental platforms shows that this method can effectively improve the accuracy of rolling bearing fault diagnosis and provide a theoretical reference for practical applications.

Keywords：rolling bearing; attention mechanism; residual network; feature extraction; transfer learning