李敬兆， 孫杰臣， 葉桐舟

(1.安徽理工大學(xué) 電氣與信息工程學(xué)院， 安徽 淮南 232001； 2.安徽理工大學(xué) 機(jī)械工程學(xué)院， 安徽 淮南 232001)

0 引言

礦井帶式輸送機(jī)具有運(yùn)輸效率高、輸送距離長等優(yōu)勢，一旦發(fā)生故障會(huì)嚴(yán)重影響煤礦生產(chǎn)安全和工作效率[1]。目前，通過在帶式輸送機(jī)重要零部件部署相關(guān)傳感器，能夠得到帶式輸送機(jī)運(yùn)行狀態(tài)[2-3]。然而，這種方式只能實(shí)現(xiàn)事后維護(hù)，無法滿足帶式輸送機(jī)預(yù)知維修的要求。

近年來，礦井帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測逐漸成為研究熱點(diǎn)，傳感器監(jiān)測數(shù)據(jù)結(jié)合神經(jīng)網(wǎng)絡(luò)預(yù)測模型是帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測的主流方法[4-5]。方宇[6]根據(jù)帶式輸送機(jī)常見故障類型對(duì)應(yīng)的監(jiān)測數(shù)值變化，利用主成分分析提取故障特征，然后利用灰狼算法優(yōu)化的支持向量機(jī)對(duì)不同故障類型數(shù)據(jù)進(jìn)行預(yù)測，從而實(shí)現(xiàn)帶式輸送機(jī)故障預(yù)警；高偉[7]通過分析當(dāng)前帶式輸送機(jī)監(jiān)控系統(tǒng)中軟硬件數(shù)據(jù)隨運(yùn)行時(shí)間的變化規(guī)律，利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行預(yù)測，從而得到帶式輸送機(jī)運(yùn)行狀態(tài)信息。Li Xiangong等[8]對(duì)帶式輸送機(jī)上各類傳感器監(jiān)測數(shù)據(jù)進(jìn)行處理，并采用深度置信網(wǎng)絡(luò)建立了帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測和性能評(píng)估模型。然而，利用接觸式傳感器對(duì)帶式輸送機(jī)運(yùn)行狀態(tài)進(jìn)行監(jiān)測存在安裝不便、數(shù)據(jù)誤差大等問題，導(dǎo)致帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測精度不高。

帶式輸送機(jī)不同運(yùn)行狀態(tài)下的音頻信號(hào)存在一定差異。帶式輸送機(jī)正常運(yùn)行時(shí)，當(dāng)前時(shí)刻采集的帶式輸送機(jī)音頻信號(hào)與前一段時(shí)間的音頻信號(hào)相差不大；帶式輸送機(jī)發(fā)生撕裂、跑偏故障時(shí)的音頻信號(hào)相較于正常運(yùn)行時(shí)的音頻信號(hào)有明顯區(qū)別[9]。此外，音頻信號(hào)由非接觸式傳感器采集，保證了數(shù)據(jù)的準(zhǔn)確性。因此，本文提取帶式輸送機(jī)運(yùn)行時(shí)的音頻信號(hào)的梅爾頻率倒譜系數(shù)(Mel-Frequency Cepstral Coefficients，MFCC)特征，使用殘差塊優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)結(jié)合長短期記憶網(wǎng)絡(luò)(Residual Block optimized Convolutional Neural Network combined with Long Short-Term Memory，Res-CNN-LSTM)模型對(duì)帶式輸送機(jī)運(yùn)行狀態(tài)進(jìn)行在線預(yù)測。

1 礦井帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測流程

礦井帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測流程如圖1所示。首先，對(duì)帶式輸送機(jī)運(yùn)行時(shí)的原始音頻信號(hào)進(jìn)行濾波降噪處理，提取音頻信號(hào)的MFCC特征；然后，將MFCC第1維分量(MFCC0)輸入到Res-CNN-LSTM模型中進(jìn)行離線訓(xùn)練；最后，將帶式輸送機(jī)實(shí)時(shí)音頻信號(hào)特征輸入到訓(xùn)練好的Res-CNN-LSTM預(yù)測模型中進(jìn)行在線預(yù)測，得到帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測結(jié)果。

圖1 礦井帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測流程Fig.1 Operation state prediction process of mine belt conveyor

2 音頻信號(hào)特征提取

帶式輸送機(jī)工作環(huán)境復(fù)雜，采集到的原始音頻信號(hào)中包含大量噪聲。針對(duì)音頻信號(hào)中噪聲特點(diǎn)，采用高通濾波器濾除音頻信號(hào)中低頻噪聲，再利用Boll譜減法進(jìn)行整體噪聲濾除。

MFCC作為語音信號(hào)中常用的時(shí)頻域特征，已廣泛應(yīng)用于機(jī)械設(shè)備音頻信號(hào)處理中[10]。但直接提取帶式輸送機(jī)音頻信號(hào)的MFCC特征，得到的是高維特征數(shù)據(jù)，且大部分高維特征數(shù)據(jù)包含的設(shè)備運(yùn)行狀態(tài)信息少，不利于帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測。

MFCC第1維分量MFCC0包含的帶式輸送機(jī)音頻信號(hào)特征最多，相對(duì)于其他維度分量具有較強(qiáng)的特征表達(dá)能力。為減少運(yùn)行狀態(tài)預(yù)測模型的輸入數(shù)據(jù)量，將MFCC0作為帶式輸送機(jī)音頻信號(hào)特征。MFCC0提取過程如圖2所示，具體步驟如下。

圖2 MFCC0提取過程Fig.2 MFCC0 extraction process

(1) 濾波降噪后的帶式輸送機(jī)音頻信號(hào)z(t)經(jīng)過預(yù)加重可提高音頻信號(hào)中的高頻分量，彌補(bǔ)信號(hào)處理過程中的高頻信息損失。

(2) 非平穩(wěn)信號(hào)在很短的時(shí)間內(nèi)可認(rèn)為是線性信號(hào)，因此將音頻信號(hào)分為若干幀，并對(duì)每一幀進(jìn)行加窗處理，以避免頻譜泄漏問題。

yn(t)=w(t)z((n-1)s+l)

(1)

式中：yn(t)為第n(1≤n≤N，N為音頻信號(hào)總幀數(shù))幀音頻信號(hào)加窗后的結(jié)果；w(t)為漢明窗函數(shù)；s為幀移長度；l為幀長。

(3) 對(duì)每一幀音頻信號(hào)進(jìn)行快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)，求取每一幀音頻信號(hào)的頻域值：

X(n,k)=FFT[yn(t)]

(2)

式中k為頻域中譜線序號(hào)，0≤k≤K-1，K為總譜線數(shù)。

(4) 計(jì)算每一幀音頻信號(hào)的能量譜：

E(n,k)=X2(n,k)

(3)

(5) 將每一幀音頻信號(hào)的能量譜映射到梅爾濾波器，并與梅爾濾波器的頻域響應(yīng)相乘后求和，得到梅爾濾波器能量：

(4)

式中：m為梅爾濾波器序號(hào)，1≤m≤M，M為梅爾濾波器總數(shù)；Hm(k)為第m個(gè)梅爾濾波器頻域響應(yīng)。

(6) 對(duì)梅爾濾波器能量取對(duì)數(shù)后進(jìn)行離散余弦變換，去除數(shù)據(jù)的相關(guān)性并實(shí)現(xiàn)數(shù)據(jù)降維，得到音頻信號(hào)的MFCC：

(5)

式中j為離散余弦變換后的譜線。

(7) 保留第1個(gè)梅爾濾波器的MFCC，并去除前2幀的數(shù)據(jù)，然后取每一幀音頻信號(hào)MFCC的第1個(gè)數(shù)，組成新的音頻信號(hào)特征MFCC0。

3 Res-CNN-LSTM模型設(shè)計(jì)

Res-CNN-LSTM模型結(jié)構(gòu)如圖3所示。采用添加殘差塊的CNN自適應(yīng)提取帶式輸送機(jī)音頻信號(hào)的MFCC0的空間特征，并對(duì)數(shù)據(jù)進(jìn)行降維；基于LSTM提取降維數(shù)據(jù)的時(shí)間特征，從而對(duì)帶式輸送機(jī)運(yùn)行狀態(tài)進(jìn)行預(yù)測。

圖3 Res-CNN-LSTM模型結(jié)構(gòu)Fig.3 Structure of Res-CNN-LSTM model

3.1 殘差塊優(yōu)化的CNN

CNN由卷積層、池化層和全連接層組成。卷積層通過卷積核對(duì)MFCC0進(jìn)行卷積運(yùn)算，提取MFCC0的空間特征；池化層用于對(duì)卷積層輸出數(shù)據(jù)進(jìn)行降維，僅保留較為明顯的特征信息；全連接層用于對(duì)池化層輸出結(jié)果進(jìn)行運(yùn)算，從而對(duì)特征進(jìn)行分類[11-12]。傳統(tǒng)CNN中的池化層雖然能夠?qū)崿F(xiàn)數(shù)據(jù)降維，但同時(shí)導(dǎo)致大量特征信息丟失。本文通過增加卷積層數(shù)量，采用不同尺寸卷積核對(duì)MFCC0進(jìn)行卷積運(yùn)算，得到較多的MFCC0空間特征。使用尺寸為1的卷積核構(gòu)成的卷積層代替池化層進(jìn)行特征降維，以避免池化后信息的丟失?？紤]到卷積層數(shù)量增加會(huì)導(dǎo)致模型預(yù)測速度慢及過擬合現(xiàn)象，使用殘差塊對(duì)CNN進(jìn)行優(yōu)化。殘差塊結(jié)構(gòu)如圖4所示。圖中BN為批歸一化，ReLU為激活函數(shù)。

圖4 殘差塊結(jié)構(gòu)Fig.4 Structure of residual block

設(shè)輸入為a時(shí)得到的特征為Q(a)，則1個(gè)殘差塊可以表示為

Q(a)=a+F(a)

(6)

式中F(a)為殘差部分。

3.2 LSTM

LSTM通過引入門控結(jié)構(gòu)來控制信息的傳遞量和傳遞路徑，有效記憶時(shí)序數(shù)據(jù)間的特征，充分挖掘MFCC0的時(shí)間特征，使預(yù)測結(jié)果更可靠。LSTM主要包括遺忘門、輸入門和輸出門[13-14]，如圖5所示。

圖5 LSTM結(jié)構(gòu)Fig.5 Structure of LSTM

(1) 遺忘門：用于對(duì)上一時(shí)刻的輸出信息進(jìn)行選擇性遺忘，保留與預(yù)測結(jié)果相關(guān)性大的信息。

ft=σ(Wf*[ht-1,xt]+bf)

(7)

式中：ft為遺忘門的輸出值；σ()為sigmoid激活函數(shù)，取值范圍為0～1，0代表遺忘信息，1代表保留信息；Wf為權(quán)重；*為卷積符號(hào)；ht-1為上一時(shí)刻LSTM輸出；xt為當(dāng)前時(shí)刻LSTM輸入；bf為遺忘門的偏置。

(2) 輸入門：將當(dāng)前時(shí)刻的輸入與上一時(shí)刻的輸出共同作為輸入門的輸入，經(jīng)過激活函數(shù)運(yùn)算后結(jié)合前一個(gè)單元的候選向量,得到當(dāng)前單元的候選向量，代替輸入門上一時(shí)刻的狀態(tài)。

it=σ(Wi*[ht-1,xt]+bi)

(8)

Ct=ftCt-1+ittanh(Wc*[ht-1,xt]+bc)

(9)

式中：it為輸入門的輸出值；Wi，Wc分別為輸入門、候選向量的權(quán)重；bi，bc分別為輸入門、候選向量的偏置；Ct為當(dāng)前單元的候選向量；Ct-1為前一個(gè)單元的候選向量。

(3) 輸出門：由sigmoid激活函數(shù)和tanh激活函數(shù)共同確定LSTM的最終輸出ht。

ht=σ(Wh*[ht-1,xt]+bh)tanhCt

(10)

式中Wh，bh分別為輸出門的權(quán)重和偏置。

4 實(shí)驗(yàn)與結(jié)果分析

對(duì)煤礦井下相似工作環(huán)境下同類型帶式輸送機(jī)運(yùn)行時(shí)的音頻信號(hào)進(jìn)行采集，當(dāng)傳感器檢測到帶式輸送機(jī)發(fā)生撕裂和跑偏故障時(shí)，追溯故障發(fā)生前24 h內(nèi)的音頻信號(hào)。長期實(shí)驗(yàn)中共采集到4次撕裂故障音頻信號(hào)(共96 h)、5次跑偏故障音頻信號(hào)(共120 h)?？紤]到預(yù)測的動(dòng)態(tài)性，以當(dāng)前時(shí)刻及過去270 min的數(shù)據(jù)預(yù)測未來30 min的數(shù)據(jù)。

實(shí)驗(yàn)平臺(tái)參數(shù)：CPU為Intel Core i7-10700；GPU為RTX2070；運(yùn)行內(nèi)存為32 GB；音頻信號(hào)處理軟件為Matlab 2018b；模型框架為PyTorch。

4.1 模型訓(xùn)練流程

Res-CNN-LSTM模型訓(xùn)練流程如圖6所示，具體步驟如下：① 對(duì)帶式輸送機(jī)不同運(yùn)行狀態(tài)的音頻信號(hào)提取MFCC0特征，并進(jìn)行歸一化處理；② 采用滑動(dòng)窗口法[15]對(duì)不同運(yùn)行狀態(tài)的MFCC0特征數(shù)據(jù)進(jìn)行分割；③ 尋找模型最優(yōu)超參數(shù)；④ 根據(jù)評(píng)估指標(biāo)計(jì)算結(jié)果，調(diào)整模型參數(shù)；⑤ 對(duì)預(yù)測結(jié)果進(jìn)行反歸一化，得到預(yù)測結(jié)果的真實(shí)值。

圖6 Res-CNN-LSTM模型訓(xùn)練流程Fig.6 Res-CNN-LSTM model training process

4.2 模型參數(shù)

經(jīng)過多次實(shí)驗(yàn)調(diào)試，設(shè)置預(yù)測模型的第1個(gè)CNN卷積層的卷積核大小為64，步長為16，數(shù)量為8，采用“same”作為數(shù)據(jù)邊界填充方式；第2個(gè)卷積層卷積核大小為3，數(shù)據(jù)邊界填充方式為“same”；最后一層卷積的卷積核大小為1，以減小數(shù)據(jù)維度，降低模型計(jì)算量。在LSTM網(wǎng)絡(luò)中采用“Dropout”，使模型在訓(xùn)練過程中以一定概率將神經(jīng)元置零，解決模型過擬合問題；采用隨時(shí)間反向傳播(Back-Propagation Through Time，BPTT)算法[16]不斷更新模型的權(quán)重矩陣；殘差塊個(gè)數(shù)為8；將批大小和迭代次數(shù)作為變量，根據(jù)目標(biāo)函數(shù)的最優(yōu)解，使用網(wǎng)格搜索法得到模型的批大小為128，迭代次數(shù)為500。

4.3 模型評(píng)估指標(biāo)

選取平均絕對(duì)誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Square Error，RMSE)作為模型性能評(píng)估指標(biāo)[17]。MAE用來判斷預(yù)測值與真實(shí)值的誤差，也可判斷預(yù)測值與真實(shí)值之間的擬合度，其值越小，說明預(yù)測值越接近真實(shí)值；RMSE用來評(píng)判預(yù)測值與真實(shí)值之間的偏差，其值越小，說明模型性能越好。

4.4 實(shí)驗(yàn)結(jié)果

4.4.1 濾波降噪結(jié)果

采用高通濾波器和Boll譜減法對(duì)原始音頻信號(hào)進(jìn)行濾波降噪的效果如圖7所示。可看出原始音頻信號(hào)中包含大量噪聲信號(hào)，對(duì)其進(jìn)行濾波降噪后可消除大部分噪聲信號(hào)，且很好地保留了有用信號(hào)。

圖7 濾波降噪前后音頻信號(hào)波形Fig.7 Waveforms of audio signal before and after filtering and noise reduction

4.4.2 音頻特征提取結(jié)果

分別提取帶式輸送機(jī)3種運(yùn)行狀態(tài)下音頻信號(hào)MFCC0特征，如圖8所示。當(dāng)帶式輸送機(jī)正常運(yùn)行時(shí)，音頻信號(hào)變化平穩(wěn)，且主要集中在低頻，得到的MFCC0特征變化平緩，幅值較小。當(dāng)帶式輸送機(jī)發(fā)生撕裂故障時(shí)，產(chǎn)生故障沖擊，音頻信號(hào)中含有大量高頻信號(hào)，提取的MFCC0特征幅值呈明顯上升趨勢。當(dāng)帶式輸送機(jī)發(fā)生跑偏故障時(shí)，由于輸送帶上的煤炭分布不均衡，音頻信號(hào)中的高頻分量具有一定的周期性，MFCC0特征幅值也呈周期性變化，且幅值變化區(qū)間較大。因此，通過音頻信號(hào)的MFCC0特征可很好地區(qū)分不同運(yùn)行狀態(tài)，反映不同運(yùn)行狀態(tài)的趨勢。

圖8 帶式輸送機(jī)不同運(yùn)行狀態(tài)下音頻信號(hào)MFCC0特征Fig.8 Characteristics of audio signal MFCC0 under different operation states of belt conveyor

4.4.3 運(yùn)行狀態(tài)預(yù)測結(jié)果

為驗(yàn)證本文提出的Res-CNN-LSTM預(yù)測模型的準(zhǔn)確性，將其與CNN，LSTM，CNN-LSTM模型進(jìn)行對(duì)比。不同模型訓(xùn)練時(shí)的損失函數(shù)曲線如圖9所示。可看出隨著迭代次數(shù)增加，4種模型的損失函數(shù)值均趨于收斂；CNN和LSTM模型的收斂效果較差，損失函數(shù)值變化較大；隨著迭代次數(shù)增加，CNN-LSTM模型損失函數(shù)值出現(xiàn)明顯波動(dòng)；相較于其他模型，Res-CNN-LSTM模型損失函數(shù)收斂速度更快，且損失函數(shù)值變化更穩(wěn)定。

圖9 不同預(yù)測模型損失函數(shù)曲線Fig.9 Loss function curves of different prediction models

將帶式輸送機(jī)3種運(yùn)行狀態(tài)下的音頻特征輸入不同預(yù)測模型，得到帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測結(jié)果，如圖10所示。

(a) 正常狀態(tài)

(b) 撕裂狀態(tài)

(c) 跑偏狀態(tài)

從圖10可看出4種模型均可有效擬合帶式輸送機(jī)運(yùn)行狀態(tài)變化趨勢；CNN和LSTM模型的預(yù)測值相比于真實(shí)值偏差較大；CNN-LSTM模型的預(yù)測結(jié)果優(yōu)于CNN和LSTM模型，但對(duì)正常和撕裂運(yùn)行狀態(tài)的預(yù)測結(jié)果偏差大于Res-CNN-LSTM模型；Res-CNN-LSTM模型對(duì)3種運(yùn)行狀態(tài)的預(yù)測結(jié)果優(yōu)于其他模型，與真實(shí)值偏差較小，且該模型可對(duì)故障運(yùn)行狀態(tài)的故障變化趨勢(虛線框處)進(jìn)行準(zhǔn)確預(yù)測。

不同預(yù)測模型性能評(píng)估結(jié)果見表1?？煽闯鯮es-CNN-LSTM模型的MAE和RMSE均低于其他模型，表明該模型對(duì)帶式輸送機(jī)運(yùn)行狀態(tài)的預(yù)測更準(zhǔn)確。

表1 不同預(yù)測模型性能評(píng)估結(jié)果Table 1 Performance evaluation results of different prediction models

5 結(jié)語

提出了一種基于音頻信號(hào)特征和Res-CNN-LSTM模型的帶式輸送機(jī)運(yùn)行狀態(tài)預(yù)測方法。通過提取帶式輸送機(jī)不同運(yùn)行狀態(tài)時(shí)的音頻信號(hào)MFCC0特征，可以少量數(shù)據(jù)獲得更多的帶式輸送機(jī)運(yùn)行狀態(tài)信息，減少預(yù)測模型的輸入數(shù)據(jù)量；Res-CNN-LSTM模型利用CNN和LSTM網(wǎng)絡(luò)分別提取MFCC0的空間特征信息與時(shí)間特征信息，并且在CNN中添加殘差塊，以提取更多的特征信息，同時(shí)避免了過擬合與性能衰退問題。實(shí)驗(yàn)結(jié)果表明，通過音頻信號(hào)的MFCC0特征可準(zhǔn)確反映帶式輸送機(jī)不同運(yùn)行狀態(tài)；與CNN，LSTM，CNN-LSTM模型相比，Res-CNN-LSTM模型對(duì)帶式輸送機(jī)運(yùn)行狀態(tài)的預(yù)測更準(zhǔn)確。