郝洪濤 邱園園 丁文捷

摘要：基于深度學(xué)習(xí)的故障診斷方法對數(shù)據(jù)集的質(zhì)量有很高要求，需要大批量數(shù)據(jù)才能進行良好的模型訓(xùn)練，從而實現(xiàn)準(zhǔn)確的故障診斷，而在實際應(yīng)用中能夠采集到的故障信號通常很有限。針對托輥故障聲音信號獲取困難、樣本量少，導(dǎo)致智能故障診斷方法性能受限的問題，提出了一種基于小樣本聲音信號的托輥故障診斷方法。使用特征轉(zhuǎn)換方法將一維聲音信號轉(zhuǎn)換為二維時頻圖像，將頻率域的特征融入進來，以提高數(shù)據(jù)集對故障特征的表達能力；提出了多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法，將短時傅里葉變換（STFT）、連續(xù)小波變換（CWT）、希爾伯特?黃變換（HHT）3種時頻分析方法繪制的時頻圖相結(jié)合，以擴充數(shù)據(jù)集，增加數(shù)據(jù)樣式；引入了深度遷移學(xué)習(xí)的思想，使用軸承數(shù)據(jù)集對模型進行預(yù)訓(xùn)練，然后使用托輥數(shù)據(jù)對預(yù)訓(xùn)練模型進行微調(diào)，以進一步提升模型的識別準(zhǔn)確率。實驗結(jié)果表明：多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法能有效解決使用小樣本數(shù)據(jù)訓(xùn)練模型時易過擬合的問題；使用遷移學(xué)習(xí)后，模型的測試準(zhǔn)確率達98.81%，相較于不使用遷移學(xué)習(xí)時提升了7%，且沒有出現(xiàn)過擬合現(xiàn)象，說明模型訓(xùn)練良好；相較于生成對抗網(wǎng)絡(luò)擴充 STFT 時頻圖數(shù)據(jù)集+遷移學(xué)習(xí)的方法，多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充+遷移學(xué)習(xí)的方法準(zhǔn)確率提高了4%，且更容易實現(xiàn)，可解釋性更強。

關(guān)鍵詞：帶式輸送機；托輥；故障診斷；小樣本；時頻圖；數(shù)據(jù)集擴充；遷移學(xué)習(xí)

中圖分類號： TD634??? 文獻標(biāo)志碼： A

A fault diagnosis method for roller based on small sample sound signals

HAO Hongtao1，2， QIU Yuanyuan1， DING Wenjie1，2

（1. School of Mechanical Engineering， Ningxia University， Yinchuan 750021， China；2. Ningxia Key Laboratory of CAE on Intelligent Equipment， Yinchuan 750021， China）

Abstract： Fault diagnosis methods based on deep learning have high requirements for the quality of the dataset， requiring a large amount of data for good model training to achieve accurate fault diagnosis. However， the fault signals that can be collected in practical applications are usually limited. A method for diagnosing roller faults based on small sample sound signals is proposed to address the problem of limited performance of intelligent fault diagnosis methods due to the difficulty in obtaining sound signals for roller faults and the small sample size. The feature transformation method is used to convert one-dimensional sound signals into two- dimensional time-frequency images， incorporating features from the frequency domain to improve the dataset's capability to express fault features. A dataset expansion method combining multiple types of time-frequency maps has been proposed. The method combines time-frequency maps drawn by three time-frequency analysis methods： short time fourier transform （STFT）， continuous wavelet transform （CWT）， and Hilbert Huang transform （HHT） to expand the dataset and increase data styles. The concept of deep transfer learning is introduced， using bearing datasets to pre-train the model， and then using roller data to fine-tune the pre-trained model to further improve therecognition accuracy of the model. The experimental results show that the dataset expansion method combining multiple types of time-frequency maps can effectively solve the problem of overfitting when training models with small sample data. After using transfer learning， the testing accuracy of the model reaches 98.81%， an improvement of 7% compared to not using transfer learning. There was no overfitting phenomenon， indicating that the model is well-trained. Compared to the method of generating adversarial networks to expand the STFT time-frequency map dataset and transfer learning， the method of dataset expansion by combining multiple types of time frequency maps and transfer learning has an accuracy improvement of 4%. It is easier to implement， and has stronger interpretability.

Key words： belt conveyor; roller; fault diagnosis; small sample; time-frequency image; dataset expansion; transfer learning

0 引言

遠(yuǎn)程帶式輸送機是煤礦的重要運輸設(shè)備，具有距離長、運行成本低、運量大、可連續(xù)平穩(wěn)運輸?shù)葍?yōu)點，是連接礦區(qū)與廠區(qū)的關(guān)鍵裝備[1]。托輥作為遠(yuǎn)程帶式輸送機的主要支承部件，在長達數(shù)千米的遠(yuǎn)程煤炭運輸線路中數(shù)量眾多，是遠(yuǎn)程帶式輸送機的主要隱患源[2]，一旦發(fā)生故障，輕則造成停機，影響生產(chǎn)效率，重則造成設(shè)備破損甚至人員傷亡，因此對托輥進行監(jiān)測和診斷尤為重要。

傳統(tǒng)的依靠人工提取特征的旋轉(zhuǎn)機械故障診斷方法存在工作量大、效率低、需要充分的先驗知識等缺陷[3-5]。近年來越來越多研究人員開始將研究重點聚焦于數(shù)據(jù)驅(qū)動的、基于深度學(xué)習(xí)的故障診斷方法上[6-7]。這類方法取得了較好效果，但對數(shù)據(jù)集的質(zhì)量有很高要求，往往需要平衡的、大批量的數(shù)據(jù)才能進行良好的模型訓(xùn)練，從而實現(xiàn)準(zhǔn)確的故障診斷。而在實際應(yīng)用中能夠采集到的故障信號通常很有限，因此，在小樣本場景下探尋一種簡單、有效的故障診斷方法具有實際意義。

本文依托于寧夏大學(xué)設(shè)計的用于遠(yuǎn)程帶式輸送機的智能巡檢機器人[8]，進行基于小樣本的托輥故障診斷研究。聲音信號有非接觸測量的優(yōu)勢，能夠及時、準(zhǔn)確地提供設(shè)備狀態(tài)特征信息，且能夠被永久或間歇監(jiān)測，因此被設(shè)計為機器人重點監(jiān)測的一個環(huán)節(jié)。巡檢機器人沿著遠(yuǎn)程帶式輸送機運行，拾音器不間斷地采集聲音信號，同時上位機借助 RFID 巡檢機器人定位方法將每2～3個托輥之間所采集到的聲音信號保存為1個聲音信號文件，在巡檢結(jié)束后將數(shù)據(jù)上傳至數(shù)據(jù)庫中?？紤]在實際應(yīng)用過程中故障托輥并不會大量出現(xiàn)，且巡檢機器人在單獨托輥附近停留時間較短，因此在一次巡檢結(jié)束時故障聲音信號樣本量很少，導(dǎo)致智能故障診斷方法性能受限。

針對樣本數(shù)據(jù)不足問題，現(xiàn)階段的解決辦法一般是采用各種數(shù)據(jù)擴充技術(shù)，從算法和數(shù)據(jù)2個層面對原始數(shù)據(jù)集進行擴充。算法層面的代表是數(shù)據(jù)生成技術(shù)[9-12]，但其存在不易實現(xiàn)、不穩(wěn)定的缺陷。數(shù)據(jù)層面的代表是數(shù)據(jù)增強技術(shù)，其實現(xiàn)形式多樣，主要思想是通過裁剪、加入新信號、過采樣等處理來獲得更多數(shù)據(jù)[13-15]，相較于生成新的數(shù)據(jù)，該方法從原始數(shù)據(jù)出發(fā)，實現(xiàn)更簡單，可解釋性也更強。還有一些輔助的手段也能有效提升小樣本情況下模型訓(xùn)練的精度，例如深度遷移學(xué)習(xí)方法等。

基于以上分析，本文提出一種基于小樣本聲音信號的托輥故障診斷方法。先將一維信號轉(zhuǎn)換為二維時頻圖像，將頻率域的特征融入進來，以提高數(shù)據(jù)集對故障特征的表達能力；然后將多種時頻分析方法繪制的時頻圖相結(jié)合，作為一種簡單易行的數(shù)據(jù)增強手段來擴充數(shù)據(jù)集，增加數(shù)據(jù)樣式；結(jié)合深度學(xué)習(xí)自動提取特征的優(yōu)點和深度遷移學(xué)習(xí)思想，實現(xiàn)小樣本情況下的托輥故障診斷。

1 時頻圖及遷移學(xué)習(xí)

1.1 時頻圖

用于故障診斷的一維聲音信號往往是非線性和非平穩(wěn)的，這些特性使得無論采用單一的時域分析方法還是頻域分析方法都難以達到滿意的效果。在20世紀(jì)早期，分析非平穩(wěn)信號的時頻分析方法被提出，時頻分析方法同時具有時域分析與頻域分析2種分析方法的特點，通過對故障聲音信號進行時頻分析處理后，可以得到信號的時頻域能量和強度分布情況。

時頻圖以時間為橫坐標(biāo)、頻率為縱坐標(biāo)，用顏色的深淺表征頻率幅值，是一維信號的二維表達，可以精準(zhǔn)表示信號的時頻域特征，同時可以直觀表達頻率與時間變化的關(guān)系，包含較為豐富的信號內(nèi)在信息，非常適合作為故障識別的樣本輸入。因此，近年來將時頻圖數(shù)據(jù)集與深度學(xué)習(xí)結(jié)合起來用于故障診斷的研究越來越多[16-20]。

較為典型的時頻分析方法有短時傅里葉變換（Short-Time Fourier Transform，STFT）、連續(xù)小波變換（Continue Wavelet Transform，CWT）、希爾伯特?黃變換（Hilbert-Huang Transform，HHT）等。以上3種時頻分析方法有各自的優(yōu)缺點和適用范圍，雖然本質(zhì)都是計算頻率，然后將頻率與時間對應(yīng)起來，但每種時頻分析方法無論是計算頻率的方法還是將時間與頻率結(jié)合的方法都存在差異，導(dǎo)致每一種時頻分析方法所繪制的時頻圖也都是有差異的。

STFT 的本質(zhì)是加窗后對每一小段使用傅里葉變換，繪制出來的時頻圖看起來是一個個小矩形的疊加，如圖1（a）所示。 HHT 計算的是信號的瞬時頻率，繪制出來的時頻圖看起來是一條連續(xù)的曲線，如圖1（b）所示。由于不同時頻分析方法的關(guān)聯(lián)與差異，所以將各方法生成的時頻圖相結(jié)合就成了一種切實可行的擴充數(shù)據(jù)集的方法。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)可以將從一個數(shù)據(jù)集中獲得的知識運用到其他數(shù)據(jù)集的學(xué)習(xí)任務(wù)中，從而解決新數(shù)據(jù)集上樣本量不足的問題。對于給定的源域和目標(biāo)域，遷移學(xué)習(xí)的目的是將從源域?qū)W習(xí)到的知識應(yīng)用到目標(biāo)域中。深度遷移學(xué)習(xí)是指利用上述遷移學(xué)習(xí)的思想來幫助深度學(xué)習(xí)模型的訓(xùn)練，即根據(jù)源域與目標(biāo)域之間學(xué)習(xí)任務(wù)的相關(guān)性，將模型學(xué)習(xí)到的知識或已訓(xùn)練好的模型的部分參數(shù)通過一定方式遷移到新的模型訓(xùn)練過程中，從而提升新模型訓(xùn)練的效果或降低新模型訓(xùn)練的難度[21-23]。遷移學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)的區(qū)別如圖2所示。

2 基于小樣本聲音信號的托輥故障診斷方法

托輥故障診斷流程：①制作軸承數(shù)據(jù)集，并使用軸承數(shù)據(jù)集預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，得到一個預(yù)訓(xùn)練模型。②使用多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法制作托輥數(shù)據(jù)集。③將預(yù)訓(xùn)練模型的部分網(wǎng)絡(luò)參數(shù)遷移到目標(biāo)域，使用托輥數(shù)據(jù)集重新訓(xùn)練模型，進行模型微調(diào)，獲得托輥故障診斷模型。詳細(xì)的診斷流程如圖3所示。

2.1 多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法

多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法如圖4所示。

該方法包括以下3個步驟：

1）采用拾音器采集聲音信號，采樣頻率為48 kHz，即48000點/s，將采集到的故障聲音信號裁剪為時長為1 s、重疊時間為0.3 s 的短時聲音信號。

2）對每個短時聲音信號分別進行 STFT，CWT， HHT 處理，并繪制時頻圖。經(jīng)過實驗確定各時頻分析方法的主要參數(shù)，見表1。

3）將使用不同時頻分析方法生成的時頻圖數(shù)據(jù)集中相同標(biāo)簽的數(shù)據(jù)結(jié)合為1個數(shù)據(jù)集，然后根據(jù)訓(xùn)練需求劃分訓(xùn)練集、驗證集和測試集。

2.2 模型搭建及模型訓(xùn)練流程

本文采用殘差卷積神經(jīng)網(wǎng)絡(luò)模型（Residual Convolutional Neural Network，RCNN）作為故障診斷網(wǎng)絡(luò)模型（圖5），該模型使用了捷徑連接的方法。其中 Conv1—Conv4為卷積層，M1，M2為下采樣層，Add 層將 M1的輸出特征圖與 Conv3的輸出特征圖按元素相加，F(xiàn)C1為全連接層，F(xiàn)C2為分類輸出層。具體網(wǎng)絡(luò)參數(shù)見表2。輸入圖像大小為224×224×3。

故障診斷模型訓(xùn)練流程如圖 6 所示。具體步驟：①依次使用 3 種單一時頻分析方法的時頻圖數(shù)據(jù)集對模型進行預(yù)訓(xùn)練。②將預(yù)訓(xùn)練模型參數(shù)中所包含的知識信息遷移到托輥故障診斷模型 Pt?RCNN 中，保留各卷積層及下采樣層的參數(shù)，將全連接層及輸出層替換為新的全連接層與輸出層。③使用多種類型時頻圖結(jié)合的數(shù)據(jù)集微調(diào)模型。

3 實驗與結(jié)果分析

為了驗證本文方法的有效性，使用實測的故障聲音信號分析其在小樣本情況下的故障識別能力。

3.1 數(shù)據(jù)集擴充方法有效性驗證

通過對比單一時頻分析方法、2種時頻分析方法相結(jié)合及3種時頻分析方法相結(jié)合生成的數(shù)據(jù)集在所搭建模型下的分類表現(xiàn)來驗證方法有效性。

3.1.1 托輥數(shù)據(jù)采集

在某企業(yè)廠房內(nèi)搭建帶式輸送機系統(tǒng)來模擬帶式輸送機不同的運行狀態(tài)，整個帶式輸送機長度為20 m，共有46個托輥，各托輥之間的間距為1.2 m，如圖7所示。人為制造3種托輥故障：托輥軸承滾珠缺失，托輥摻沙，托輥卡滯。

考慮到人員安全等問題，帶式輸送機為空載運行，設(shè)置帶速為3 m/s，故障信息采樣頻率為48 kHz。為盡量還原巡檢機器人實際的巡檢過程，每種故障類型僅采集12 s聲音信號用于訓(xùn)練（70%訓(xùn)練，30%驗證），再單獨采集10 s聲音信號用于測試，然后裁剪為時長為1 s、重疊時間為0.3 s 的短時聲音信號。裁剪后得到30個短時聲音信號，其中11個用于模型訓(xùn)練，5個用于模型驗證，14個用于模型測試。

3.1.2 數(shù)據(jù)集生成

按照聲音信號裁剪及各時頻分析方法，分別制作如下數(shù)據(jù)集用于后續(xù)的對比實驗：單一時頻分析方法的托輥時頻圖數(shù)據(jù)集 TG?1?TG?3；2種時頻分析方法的托輥時頻圖結(jié)合的數(shù)據(jù)集 TG?4?TG?6；3種時頻分析方法的時頻圖結(jié)合的數(shù)據(jù)集 TG?7。具體的托輥數(shù)據(jù)集見表3。

3.1.3 驗證結(jié)果

直接使用表3中的各托輥數(shù)據(jù)集從頭訓(xùn)練 RCNN，采用 Adam優(yōu)化器更新模型參數(shù)，學(xué)習(xí)率設(shè)置為0.0001，批處理樣本數(shù)目為64。采用 Early- Stop-ping 機制，不設(shè)置固定訓(xùn)練輪數(shù)，當(dāng)驗證準(zhǔn)確率不再提高、損失不再下降的時候，停止訓(xùn)練模型并保存模型參數(shù)，用不同托輥數(shù)據(jù)集訓(xùn)練模型時的驗證準(zhǔn)確率與測試準(zhǔn)確率見表4。

從表4可看出，僅使用由單一時頻分析方法生成的托輥時頻圖數(shù)據(jù)集訓(xùn)練模型時，由于訓(xùn)練樣本數(shù)過少、數(shù)據(jù)樣式過于單一，導(dǎo)致模型訓(xùn)練出現(xiàn)了很明顯的過擬合現(xiàn)象，即在訓(xùn)練過程中表現(xiàn)很好，但運用在測試集中的效果不夠好，而隨著時頻圖數(shù)據(jù)集的結(jié)合，用于訓(xùn)練的樣本數(shù)量、樣式都在增加，過擬合現(xiàn)象有明顯改善，說明多種類型的時頻圖結(jié)合擴充數(shù)據(jù)集的方法是可行的。

3.2 遷移學(xué)習(xí)有效性驗證

將3種類型時頻圖結(jié)合的托輥數(shù)據(jù)集輸入到經(jīng)軸承數(shù)據(jù)預(yù)訓(xùn)練的模型中進行模型微調(diào)，驗證遷移學(xué)習(xí)的有效性。

3.2.1 軸承數(shù)據(jù)來源及數(shù)據(jù)集生成

選用軸承故障綜合模擬器獲取不同故障下的滾動軸承聲音信號數(shù)據(jù)，如圖8所示。

測試軸承可更換，包括正常軸承和4類故障軸承（外圈故障軸承、內(nèi)圈故障軸承、滾珠故障軸承和保持架故障軸承）。軸承型號為 ER?12K，其結(jié)構(gòu)參數(shù)見表5，實驗過程中軸承轉(zhuǎn)速為1797 r/min，實驗臺負(fù)載質(zhì)量為5 kg，采樣頻率為48 kHz。

設(shè)置每種故障采集時長為3 min，其中2 min 用于訓(xùn)練（70%訓(xùn)練，30%驗證），1 min 用于測試。樣本裁剪為時長為1 s、重疊時間為0.3 s 的短時聲音信號，共得到255個短時聲音信號，其中119個用于訓(xùn)練，51個用于驗證，85個用于測試。采用表1所示時頻分析方法的參數(shù)，對所有短時聲音信號進行時頻分析并繪制時頻圖，得到故障軸承時頻圖數(shù)據(jù)集，每個數(shù)據(jù)集分別得到595張圖像用于訓(xùn)練，255張圖像用于驗證，425張圖像用于測試。

3.2.2 模型預(yù)訓(xùn)練及遷移

首先使用軸承數(shù)據(jù)集進行模型預(yù)訓(xùn)練，采用 Adam 優(yōu)化器更新模型參數(shù)，學(xué)習(xí)率設(shè)置為0.0001，批處理樣本數(shù)為64。預(yù)訓(xùn)練階段，模型在軸承時頻圖數(shù)據(jù)集上的測試準(zhǔn)確率最高可達97.18%。

遷移預(yù)訓(xùn)練模型的部分網(wǎng)絡(luò)參數(shù)至托輥目標(biāo)域并調(diào)整模型結(jié)構(gòu)，得到 Pt?RCNN 模型，再使用3種類型時頻圖結(jié)合的托輥數(shù)據(jù)集對模型 Pt?RCNN 重新訓(xùn)練，進行模型微調(diào)，得到托輥故障診斷模型。仍采用 Adam優(yōu)化器更新模型參數(shù)，學(xué)習(xí)率設(shè)為0.0001，批處理樣本數(shù)為64，訓(xùn)練過程中的損失及準(zhǔn)確率變化曲線如圖9所示?？煽闯?，僅經(jīng)過200次迭代訓(xùn)練，模型就達到了收斂且損失不再下降。模型的測試準(zhǔn)確率達98.81%，相較于不使用遷移學(xué)習(xí)時提升了7%，且沒有出現(xiàn)過擬合現(xiàn)象，說明模型訓(xùn)練良好。

模型測試混淆矩陣如圖10所示。在4種故障類型共168張用于測試的圖像中，只將2個摻沙故障的測試樣本錯誤識別成了正常，驗證了本文方法在小樣本故障識別中的可行性。

3.2.3 模型可視化驗證

引入遮擋靈敏度圖來進一步評估本文方法的可行性及模型訓(xùn)練效果。當(dāng)神經(jīng)網(wǎng)絡(luò)對圖像進行分類時，圖像不同區(qū)域?qū)Ψ诸惤Y(jié)果的影響不同，模型應(yīng)能夠根據(jù)圖像的主要目標(biāo)來進行分類，而不是學(xué)習(xí)到與目標(biāo)偏離的特征。將差異較大的3種時頻圖都放在一個數(shù)據(jù)集中去訓(xùn)練模型，很容易導(dǎo)致模型因提取不到共同特征而不收斂。通過遮擋靈敏度圖，可驗證模型是否提取到了3種圖像共同的、關(guān)于故障頻率的特征。重復(fù)對圖像不同部分進行遮擋，將遮擋圖像輸入分類模型中，觀察網(wǎng)絡(luò)中間層的情況及預(yù)測值的變化。3種時頻圖原圖與遮擋靈敏度圖對比見表6。

遮擋靈敏度圖中，紅色區(qū)域表示對圖像分類有積極貢獻，在決策過程中更為重要，藍色區(qū)域相反。可看出，即使3種時頻圖原圖有很大區(qū)別，但模型識別相同類型故障時，還是會集中在對應(yīng)的故障頻率附近，說明模型在訓(xùn)練過程中學(xué)習(xí)到了深層次的特征，與訓(xùn)練預(yù)期相符，從而進一步驗證了模型的訓(xùn)練效果及數(shù)據(jù)集擴充方法的可行性。

3.3 對比實驗

為了進一步驗證本文托輥故障診斷方法的有效性，將其與文獻[12]、文獻[24]、文獻[25]所提方法進行對比，所用數(shù)據(jù)仍然是3.1節(jié)中所述實際采集到的托輥故障信號，實驗結(jié)果見表7。

由文獻[24]及3.2節(jié)的分析可看出，在數(shù)據(jù)量不足的情況下，無論是使用一維信號還是使用單一時頻方法生成的時頻圖數(shù)據(jù)集直接訓(xùn)練模型，都很容易在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，從而導(dǎo)致模型的泛化能力差，應(yīng)用在測試集中的識別準(zhǔn)確率低。文獻[25]采用了 STFT 時頻圖數(shù)據(jù)集加遷移AlexNet網(wǎng)絡(luò)模型的方法，相較于從頭訓(xùn)練模型，準(zhǔn)確率有所提升，說明深度遷移學(xué)習(xí)方法能夠有效提升小樣本情況下的模型訓(xùn)練精度，但最終表現(xiàn)也不是很好，數(shù)據(jù)量過少可能是一個原因，另一個原因可能是因為被遷移的AlexNet網(wǎng)絡(luò)初始訓(xùn)練所用的源域數(shù)據(jù)集是 ImageNet 數(shù)據(jù)集，與遷移后目標(biāo)域的時頻圖數(shù)據(jù)集相似性很低，導(dǎo)致遷移效果差，識別效果不好。文獻[12]用生成對抗網(wǎng)絡(luò)擴充 STFT 時頻圖數(shù)據(jù)集，在對托輥的分類實驗中達到了不錯的分類效果，證明生成式神經(jīng)網(wǎng)絡(luò)是解決小樣本問題很有效的方法之一。本文方法雖然相較于文獻[12]方法準(zhǔn)確率只提高了4%，但是本文所提擴充數(shù)據(jù)集的方法相較于文獻[12]方法更容易實現(xiàn)，可解釋性更強，而且在擴大數(shù)據(jù)量的同時能夠增加數(shù)據(jù)樣式，有效提高模型的泛化能力。

4 結(jié)論

1）提出了多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法，充分利用了 STFT，CWT，HHT 之間的關(guān)聯(lián)與差異，有效解決了模型訓(xùn)練樣本數(shù)量不足的問題。

2）引入了深度遷移學(xué)習(xí)的思想，使用軸承數(shù)據(jù)集對模型進行預(yù)訓(xùn)練，然后使用托輥數(shù)據(jù)對預(yù)訓(xùn)練模型進行模型微調(diào)。遷移后的模型微調(diào)過程相較于從頭訓(xùn)練所用的代數(shù)更少，模型能更快地達到擬合。

3）實驗結(jié)果表明：多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充方法能有效解決使用小樣本數(shù)據(jù)訓(xùn)練模型時易過擬合的問題；使用遷移學(xué)習(xí)后，模型測試準(zhǔn)確率達98.81%，相較于不使用遷移學(xué)習(xí)時提升了7%，且未出現(xiàn)過擬合現(xiàn)象，說明模型訓(xùn)練良好；相較于生成對抗網(wǎng)絡(luò)擴充 STFT 時頻圖數(shù)據(jù)集+遷移學(xué)習(xí)的方法，多種類型時頻圖結(jié)合的數(shù)據(jù)集擴充+遷移學(xué)習(xí)的方法準(zhǔn)確率提高了4%，且更容易實現(xiàn)，可解釋性更強。

參考文獻（References）：

[1] 焦賀彬.煤礦帶式輸送機智能化安全監(jiān)測系統(tǒng)研究[J].煤礦機械，2020，41（10）：182-185.

JIAO Hebin. Research on intelligent safety monitoring system of belt conveyor in coal mine[J]. Coal Mine Machinery，2020，41（10）：182-185.

[2] 付朕.礦用帶式輸送機托輥遠(yuǎn)程故障診斷系統(tǒng)[D].徐州：中國礦業(yè)大學(xué)，2020.

FU Zhen. Remote fault diagnosis system of mine belt conveyor idler[D]. Xuzhou：China University of Mining and Technology，2020.

[3] 邵思羽.基于深度學(xué)習(xí)的旋轉(zhuǎn)機械故障診斷方法研究[D].南京：東南大學(xué)，2019.

SHAO Siyu. Methodologies for fault diagnosis of rotary machine based on deep learning[D]. Nanjing：Southeast University，2019.

[4] 吳文臻，程繼明，李標(biāo).礦用帶式輸送機托輥音頻故障診斷方法[J].工礦自動化，2022，48（9）：25-32.

WU Wenzhen，CHENG Jiming，LI Biao. Audio fault diagnosis method of mine belt conveyor roller[J]. Journal of Mine Automation，2022，48（9）：25-32.

[5] 賀志軍，李軍霞，張偉，等.基于 MFCC 特征和 GWO?SVM的托輥故障診斷[J].機床與液壓，2022，50（15）：188-193.

HE Zhijun，LI Junxia，ZHANG Wei，et al. Roller fault diagnosis based on MFCC feature and GWO-SVM[J]. Machine Tool & Hydraulics，2022，50（15）：188-193.

[6] 陳維望，李軍霞，張偉.基于分支卷積神經(jīng)網(wǎng)絡(luò)的托輥軸承故障分級診斷研究[J].機電工程，2022，39（5）：596-603.

CHEN Weiwang，LI Junxia，ZHANG Wei. Hierarchical fault diagnosis of idler bearing based on branch convolutional neural network[J]. Journal ofMechanical& Electrical Engineering，2022，39（5）：596-603.

[7] WEN Long，LI Xinyu，GAO Liang，et al. A new convolutional neural network-based data-driven fault diagnosis method[J]. IEEE Transactions on Industrial Electronics，2018，65（7）：5990-5998.

[8] 寧夏大學(xué).帶式輸送機故障巡檢載具及其控制系統(tǒng)和控制方法： CN201911098745.5[P].2019-11-12.

Ningxia University. Belt conveyor fault inspection vehicle and its control system and control method： CN201911098745.5[P].2019-11-12.

[9] WANG Zirui， WANG Jun， WANG Youren. An intelligent diagnosis scheme based on generative adversarial learning deep neural networks and its application to planetary gearbox fault pattern recognition [J]. Neurocomputing，2018，310（8）：213-222.

[10] DING Yu，MA Liang，MA Jian，et al. A generative adversarial network-based intelligent fault diagnosis method for rotating machinery under small sample size conditions[J]. IEEE Access，2019，7：149736-149749.

[11] 何強，唐向紅，李傳江，等.負(fù)載不平衡下小樣本數(shù)據(jù)的軸承故障診斷[J].中國機械工程，2021，32（10）：1164-1171，1180.

HE Qiang，TANG Xianghong，LI Chuanjiang，et al. Bearing fault diagnosis method based on small sample data under unbalanced loads[J]. China Mechanical Engineering，2021，32（10）：1164-1171，1180.

[12] 吳定會，方欽，吳楚宜.基于數(shù)據(jù)生成與遷移學(xué)習(xí)的軸承小樣本故障診斷[J].機械傳動，2020，44（11）：139-144.

WU Dinghui，F(xiàn)ANG Qin，WU Chuyi. Bearing small sample fault diagnosis based on data generation and transfer? learning[J].? Journal? of? Mechanical Transmission，2020，44（11）：139-144.

[13] 蔣杰.基于深度學(xué)習(xí)的車型識別算法研究[D].北京：北方工業(yè)大學(xué)，2018.

JIANG Jie. Vehicle recognition algorithm based on deep learning[D]. Beijing： North China University of Technology，2018.

[14] ZHANG Hongyi，CISSE M，DAUPHIN Y N，et al. Mixup：beyond empirical risk minimization[EB/OL].[2022-11-25].https：//arxiv.org/abs/1710.09412.

[15] DVORNIK N，MAIRAL J， SCHMID C. Modelingvisual context is key to augmenting object detection datasets[EB/OL]. [2022-11-25]. https：//arxiv.org/abs/1807.07428.

[16] LEE W J，WU Haiyue，HUANG Aihua，et al. Learning via acceleration spectrograms of a DC motor system with application to condition monitoring[J]. The International Journal of Advanced Manufacturing Technology，2020，106（3/4）：1-14.

[17] BERA A，DUTTA A，DHARA A K. Deep learning based fault classification algorithm for roller bearings using? time-frequency? localized? features[C]. International?? Conference?? on?? Computing， Communication， and Intelligent Systems， Greater Noida，2021.

[18] LI Pengfei，YUAN Hejin，WANG Yu，et al. Pumping unit fault analysis method based on wavelet transform time-frequency diagram and CNN[J]. International Core Journal of Engineering，2020，6（1）：182-188.

[19] XU Yang，LI Zhixiong，WANG Shuqing，et al. A hybrid deep-learning model for fault diagnosis of rolling bearings[J]. Measurement，2021，169（6）. DOI：10.1016/j.measurement.2020.108502.

[20] YUAN Zhuang，ZHANG Laibin，DUAN Lixiang，et al. Intelligent fault diagnosis of rolling element bearings based on HHT and CNN[C]. Prognostics and System Health Management Conference，Chongqing，2018.

[21] PHAM M T，KIM J M，KIM C H. Accurate bearing fault diagnosis under variable shaft speed using convolutional? neural? networks? and? vibration spectrogram[J]. Applied Sciences，2020，10（18）. DOI：10.3390/app10186385.

[22] HE Zhiyi，SHAO Haidong，ZHANG Xiaoyang，et al. Improved deep transfer auto-encoder for fault diagnosis of gearbox under variable working conditions with small training samples[J]. IEEE Access，2019，7：115368-115377.

[23] WANG Chongyu，XIE Yonghui，ZHANG Di. Deep learning for bearing fault diagnosis under different working loads and non-fault location point[J]. Journal of Low Frequency Noise，Vibration and Active Control，2021，40（1）：588-600.

[24] WANG Xin，MAO Dongxing，LI Xiaodong. Bearing fault diagnosis based on vibro-acoustic data fusion and 1D-CNN network[J]. Measurement，2021，173. DOI：10.1016/j.measurement.2020.108518.

[25] MINERVINI M，HAUSMSN S，F(xiàn)ROSINI L，et al. Transfer learning technique for automatic bearing fault diagnosis in induction motors [C]. IEEE 13th International Symposium on Diagnostics for Electrical Machines，Power Electronics and Drives，Dallas，2021.