付忠廣，高玉才，王詩(shī)云，謝玉存，翟世臣

（1.華北電力大學(xué)電站能量傳遞轉(zhuǎn)化與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 102206；2.南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 210016）

旋轉(zhuǎn)機(jī)械廣泛應(yīng)用于各種工農(nóng)業(yè)生產(chǎn)場(chǎng)合，工作環(huán)境復(fù)雜多變，故障發(fā)生率相對(duì)較高，容易造成重大經(jīng)濟(jì)損失和人身傷亡事故，因此研究旋轉(zhuǎn)機(jī)械的故障診斷具有十分重要的意義［1］。

傳統(tǒng)的故障診斷方法需要依賴(lài)專(zhuān)家經(jīng)驗(yàn)人工提取故障特征，效率低下。大數(shù)據(jù)和人工智能技術(shù)的發(fā)展為智能化故障診斷技術(shù)開(kāi)辟了一條新路徑，尤其是神經(jīng)網(wǎng)絡(luò)技術(shù)，能夠自動(dòng)地學(xué)習(xí)數(shù)據(jù)之間的相關(guān)性，實(shí)現(xiàn)端到端的智能化故障診斷［2］，可以利用計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)測(cè)。梁睿君等［3］利用連續(xù)小波變換處理振動(dòng)信號(hào)并構(gòu)造其時(shí)頻圖，然后利用二維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，成功將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到齒輪箱故障診斷中，取得良好效果。注意力機(jī)制［4］是深度學(xué)習(xí)研究中的重點(diǎn)課題之一，對(duì)于目標(biāo)任務(wù)，其能夠有針對(duì)性地選擇有利用價(jià)值的信息，提高信息處理的效率與準(zhǔn)確性，進(jìn)而提升算法性能。本文將注意力機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，將其運(yùn)用到旋轉(zhuǎn)機(jī)械故障診斷中，實(shí)驗(yàn)結(jié)果表明該方法有很大的優(yōu)越性。

1 數(shù)學(xué)方法原理

1.1 連續(xù)小波變換

小波變換的理論來(lái)源為傅里葉變換，廣泛應(yīng)用于信號(hào)處理與分析領(lǐng)域［5］。在連續(xù)小波變換中，信號(hào)用小波函數(shù)系表示，函數(shù)f(t)∈L2(R)的連續(xù)小波變換定義為

式中：參數(shù)a、b分別為尺度因子、平移因子；ψa，b(t)為小波基函數(shù)。

Morlet小波是高斯包絡(luò)下的單頻正弦函數(shù)，其形狀對(duì)稱(chēng)、光滑，具有顯式解析方程，且相似系數(shù)較大，選擇Morlet小波作為基函數(shù)。振動(dòng)信號(hào)通過(guò)連續(xù)小波變換產(chǎn)生小波時(shí)頻圖，圖像描述了振動(dòng)信號(hào)的能量信息在時(shí)域和頻域上的分布情況，因此可以將小波時(shí)頻圖作為表征旋轉(zhuǎn)機(jī)械運(yùn)行狀態(tài)的特征圖，將旋轉(zhuǎn)機(jī)械的運(yùn)行狀態(tài)以三維圖像的方式展現(xiàn)出來(lái)。

1.2 LeNet5卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)模型源于科學(xué)家提出的感受野概念［6］，其通過(guò)共享卷積核的形式降低了模型復(fù)雜度，可以有效減輕過(guò)擬合并降低計(jì)算量，同時(shí)具有很強(qiáng)的魯棒性和容錯(cuò)能力。LeNet5網(wǎng)絡(luò)屬于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，最初用來(lái)進(jìn)行手寫(xiě)數(shù)字識(shí)別，參數(shù)較少，能夠很好地利用圖像的結(jié)構(gòu)信息，是一種非常高效的網(wǎng)絡(luò)模型。LeNet5網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，前5層由卷積操作和池化操作交替進(jìn)行，然后輸出到全連接層，最后通過(guò)Softmax分類(lèi)器輸出分類(lèi)結(jié)果。將最后一層輸出節(jié)點(diǎn)數(shù)由10改為5，對(duì)應(yīng)旋轉(zhuǎn)機(jī)械5種不同的運(yùn)行狀態(tài)，為防止模型過(guò)擬合并提高網(wǎng)絡(luò)參數(shù)收斂速度，在傳統(tǒng)LeNet5網(wǎng)路的基礎(chǔ)上作改進(jìn)：

圖1 LeNet5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The structure of LeNet5 convolutional neural network

（1）將傳統(tǒng)LeNet5網(wǎng)絡(luò)的所有激活函數(shù)均由飽和激活函數(shù)“sigmoid”改為非飽和激活函數(shù)“Leaky ReLU”，負(fù)值部分斜率固定為0.1，能夠解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的“梯度消失”問(wèn)題，加快網(wǎng)絡(luò)參數(shù)的收斂速度。

（2）將所有池化層由均值池化改為最大值池化，從而保留圖像更多的紋理信息，減弱背景噪聲所帶來(lái)的不利影響。

（3）在所有全連接層的激活函數(shù)之后加入Dropout［7］層，將其比率設(shè)置為0.2，同時(shí)使用L2正則化對(duì)損失函數(shù)進(jìn)行修正，正則化參數(shù)設(shè)置為0.01。Dropout層的加入減弱了神經(jīng)元之間的聯(lián)合適應(yīng)性，從而很大程度上提高了模型的泛化性能。

1.3 混合注意力機(jī)制

提出的混合注意力機(jī)制是空間注意力機(jī)制和通道注意力機(jī)制的模塊組合，此方法能夠同時(shí)捕捉圖像的空間維度和通道維度中的全局特征依賴(lài)關(guān)系，從而有利于實(shí)現(xiàn)更精確的分割結(jié)果。通道注意力模塊和空間注意力模塊的結(jié)構(gòu)分別如圖2、圖3所示。

圖2 通道注意力模塊Fig.2 Channel attention module

圖3 空間注意力模塊Fig.3 Spatial attention module

在通道注意力模塊中，輸入特征分別通過(guò)全局最大池化和全局平均池化轉(zhuǎn)換為兩項(xiàng)一維向量，再將其分別輸入到一個(gè)共享多層感知器（multilayer perceptron，MLP），然后將兩項(xiàng)輸出進(jìn)行逐元素求和，最后通過(guò)激活函數(shù)得到通道特征。MLP由3層神經(jīng)網(wǎng)絡(luò)組成，輸入層和輸出層節(jié)點(diǎn)數(shù)相同，均為輸入特征的通道數(shù)。所提出的通道注意力機(jī)制中間隱含層節(jié)點(diǎn)數(shù)設(shè)置為10，激活函數(shù)為“sigmoid”函數(shù)。每個(gè)通道的結(jié)果特征，就是所有通道特征在空間維度上與輸入特征進(jìn)行元素乘法，實(shí)現(xiàn)了對(duì)特征圖之間的長(zhǎng)程語(yǔ)義依賴(lài)關(guān)系建模，有助于提高特征的辨別性。

在空間注意力模塊中，將輸入特征沿著通道方向分別進(jìn)行最大池化操作和平均池化操作，將兩項(xiàng)輸出在通道維度上進(jìn)行拼接，然后利用尺寸為7×7的濾波器進(jìn)行卷積操作，最后通過(guò)“sigmoid”激活函數(shù)生成一張與輸入特征寬高尺寸相同的二維空間注意力圖。每個(gè)位置的結(jié)果特征，是所有位置特征在通道維度上與輸入特征進(jìn)行元素乘法，能夠根據(jù)圖3有選擇地聚合上下文。

2 實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)設(shè)備為北京東方振動(dòng)和噪聲技術(shù)研究所制造的INV612型多功能柔性轉(zhuǎn)子實(shí)驗(yàn)系統(tǒng)，轉(zhuǎn)軸徑向位置的固定支架上安裝有傳感器，能夠檢測(cè)并收集轉(zhuǎn)子的振動(dòng)位移值并存儲(chǔ)到計(jì)算機(jī)系統(tǒng)中，也可以對(duì)頻率、幅值和轉(zhuǎn)子轉(zhuǎn)速等基礎(chǔ)信號(hào)進(jìn)行在線(xiàn)分析。實(shí)驗(yàn)過(guò)程中設(shè)置轉(zhuǎn)子系統(tǒng)運(yùn)行頻率為50 Hz，傳感器采樣頻率為1 000 Hz，實(shí)驗(yàn)所獲得的數(shù)據(jù)集包含轉(zhuǎn)子正常運(yùn)行狀態(tài)、質(zhì)量不平衡、碰摩、支撐松動(dòng)、油膜失穩(wěn)共5種運(yùn)行狀態(tài)的樣本，每種狀態(tài)樣本為400個(gè)，每個(gè)數(shù)據(jù)樣本包含100個(gè)數(shù)據(jù)點(diǎn)，每個(gè)數(shù)據(jù)點(diǎn)表示運(yùn)行轉(zhuǎn)子水平方向的振動(dòng)位移值。

2.2 實(shí)驗(yàn)數(shù)據(jù)集的小波時(shí)頻圖

通過(guò)連續(xù)小波變換將數(shù)據(jù)樣本的振動(dòng)信號(hào)轉(zhuǎn)換為32×32的三維小波時(shí)頻圖，使其符合模型的輸入格式要求。旋轉(zhuǎn)機(jī)械5種運(yùn)行狀態(tài)的小波時(shí)頻圖像如圖4所示。

圖4 小波時(shí)頻圖像Fig.4 Wavelet time-frequency graph

2.3 基于混合注意力機(jī)制的旋轉(zhuǎn)機(jī)械故障診斷模型架構(gòu)

在LeNet5網(wǎng)絡(luò)Pool1層（對(duì)照?qǐng)D1）之后添加混合注意力模塊，Woo等［8］研究發(fā)現(xiàn)，在通道注意力模塊和空間注意力模塊的所有組合方式中，串行排列的結(jié)果比并行排列的效果好，通道模塊放在前面優(yōu)于空間模塊放在前面。因此選擇通道注意力模塊放在空間注意力模塊前面的串聯(lián)組合方式，混合注意力模塊如圖5所示。

圖5 混合注意力模塊Fig.5 Hybrid attention module

2.4 模型超參數(shù)的選擇

采用Tensorflow［9］設(shè)計(jì)了所提出的基于混合注意力機(jī)制的旋轉(zhuǎn)機(jī)械故障診斷模型，優(yōu)化算法采用自適應(yīng)動(dòng)量法，即Adam［10］算法，損失函數(shù)為交叉熵?fù)p失與正則化損失之和，初始學(xué)習(xí)率learn_rate=0.01，每批訓(xùn)練樣本的數(shù)量batch_size=256，最大迭代次數(shù)為300 epochs。隨著訓(xùn)練次數(shù)的增加，模型的參數(shù)不斷得到優(yōu)化，故障識(shí)別準(zhǔn)確率不斷得到提高。

2.5 實(shí)驗(yàn)結(jié)論及對(duì)比分析

采用的評(píng)價(jià)指標(biāo)為轉(zhuǎn)子系統(tǒng)運(yùn)行狀態(tài)識(shí)別準(zhǔn)確率，模型訓(xùn)練前需要將模型參數(shù)進(jìn)行隨機(jī)初始化，按一定比例在數(shù)據(jù)集中抽取的訓(xùn)練樣本和測(cè)試樣本也具有一定的隨機(jī)性。為消除這些隨機(jī)性影響，采用5折交叉驗(yàn)證法進(jìn)行模型的訓(xùn)練和測(cè)試：將所有數(shù)據(jù)樣本平均分成5份，輪流將其中一份作為測(cè)試集數(shù)據(jù)檢測(cè)模型效果，其余4份作為訓(xùn)練集數(shù)據(jù)集訓(xùn)練模型，實(shí)驗(yàn)結(jié)果取5次實(shí)驗(yàn)的平均值。

為證明所提方法的優(yōu)越性，將其與傳統(tǒng)的無(wú)注意力機(jī)制的LeNet5網(wǎng)絡(luò)進(jìn)行對(duì)比，LeNet5網(wǎng)絡(luò)輸入為振動(dòng)信號(hào)的小波時(shí)頻圖，參數(shù)設(shè)置與所提方法相同。兩種模型某次訓(xùn)練過(guò)程中在測(cè)試數(shù)據(jù)集上故障識(shí)別準(zhǔn)確率的變化情況如圖6所示?？梢钥闯觯贚eNet5網(wǎng)絡(luò)中間加入混合注意力機(jī)制之后，模型的訓(xùn)練速度和故障識(shí)別準(zhǔn)確率均得到提高。

圖6 準(zhǔn)確率變化曲線(xiàn)Fig.6 Accuracy change curve

傳統(tǒng)的機(jī)器學(xué)習(xí)方法如支持向量機(jī)、K近鄰和決策樹(shù)模型在故障診斷領(lǐng)域中應(yīng)用也十分廣泛。選擇原始振動(dòng)信號(hào)的14個(gè)時(shí)域特征參數(shù)指標(biāo)：最大值、最小值、平均幅值、峰值、方差、均方根幅值、方根幅值、歪度、峭度、裕度因子、波形因子、峰值因子、歪度因子和峭度因子。將這些時(shí)域特征參數(shù)作為K近鄰模型和決策樹(shù)模型的輸入特征，通過(guò)遺傳算法搜索最佳超參數(shù)，從而達(dá)到最高的故障識(shí)別準(zhǔn)確率。各種模型在測(cè)試集上的表現(xiàn)見(jiàn)表1，表中數(shù)據(jù)均為5次實(shí)驗(yàn)結(jié)果的平均值。

表1 各模型實(shí)驗(yàn)結(jié)果對(duì)比Tab.1 Comparison of experimental results of each model %

2.6 數(shù)據(jù)可視化

為了查看所提方法在網(wǎng)絡(luò)中間層中區(qū)分旋轉(zhuǎn)機(jī)械不同運(yùn)行狀態(tài)的效果，采用t分布隨機(jī)鄰域嵌入（t-distributed stochastic neighbor embedding，t-SNE）［11］方法將測(cè)試集數(shù)據(jù)在模型中間層的輸出結(jié)果進(jìn)行可視化展示。測(cè)試集數(shù)據(jù)的原始振動(dòng)信號(hào)、池化層2、全連接層1和全連接層2的輸出特征經(jīng)t-SNE降維后的三維分布情況如圖7所示。由圖可知，隨著信息在模型中向前傳遞，不同故障類(lèi)型信號(hào)所對(duì)應(yīng)的特征在三維空間的區(qū)分度逐漸增大，相同故障的信號(hào)在三維特征空間逐漸聚合，說(shuō)明本文的方法能夠有效地提取故障特征，從而實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械故障的聚類(lèi)和診斷。

圖7 故障特征三維空間可視化Fig.7 3D spatial visualization of fault characteristics

3 結(jié)論

旋轉(zhuǎn)機(jī)械運(yùn)行環(huán)境復(fù)雜多變，振動(dòng)信號(hào)易受外界噪聲干擾，傳統(tǒng)的故障診斷方法存在特征提取困難和診斷精度低等問(wèn)題。通過(guò)小波變換將振動(dòng)信號(hào)轉(zhuǎn)換為小波時(shí)頻圖像，然后利用加入混合注意力機(jī)制模塊的LeNet-5網(wǎng)絡(luò)識(shí)別圖像，從而進(jìn)行旋轉(zhuǎn)機(jī)械故障診斷。實(shí)驗(yàn)結(jié)果表明該方法切實(shí)可行，并得出以下結(jié)論：

（1）相比于傳統(tǒng)的基于機(jī)器學(xué)習(xí)的故障診斷方法，如K近鄰、決策樹(shù)模型，提出的基于混合注意力機(jī)制的旋轉(zhuǎn)機(jī)械故障診斷方法無(wú)需人工提取故障特征，輸入為原始振動(dòng)信號(hào)，輸出為旋轉(zhuǎn)機(jī)械的運(yùn)行狀態(tài)分類(lèi)，能夠?qū)崿F(xiàn)端到端的智能化故障診斷，同時(shí)相較于K近鄰和決策樹(shù)模型故障識(shí)別準(zhǔn)確率分別提高13.75%和12.25%。

（2）混合注意力機(jī)制能夠同時(shí)捕捉每張?zhí)卣鲌D任意兩個(gè)位置之間的空間依賴(lài)關(guān)系和任意兩個(gè)通道圖之間的通道依賴(lài)關(guān)系，將兩種注意力機(jī)制進(jìn)行串聯(lián)組合，從而進(jìn)一步增強(qiáng)了特征表示，相比無(wú)混合注意力機(jī)制的LeNet5網(wǎng)絡(luò)模型，所提方法的整體故障識(shí)別準(zhǔn)確率提高6.75%，診斷精度和訓(xùn)練速度都得到提高。

（3）提出的方法是基于大數(shù)據(jù)和人工智能的智能化故障診斷方法，充分發(fā)揮計(jì)算機(jī)系統(tǒng)的數(shù)據(jù)處理和計(jì)算能力，能夠及時(shí)發(fā)現(xiàn)并反饋故障類(lèi)型，實(shí)現(xiàn)對(duì)旋轉(zhuǎn)機(jī)械運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)測(cè)，從而避免重大經(jīng)濟(jì)損失和人員傷亡事故。