陳甲華, 王平平
(1. 南華大學(xué)經(jīng)濟(jì)管理與法學(xué)學(xué)院, 衡陽(yáng) 421001; 2.南華大學(xué)核設(shè)施應(yīng)急安全作業(yè)技術(shù)與裝備湖南省重點(diǎn)實(shí)驗(yàn)室, 衡陽(yáng) 421001)
乏燃料剪切機(jī)是動(dòng)力堆乏燃料后處理首端的關(guān)鍵設(shè)備,主要負(fù)責(zé)乏燃料后處理工藝中燃料組件管座與燃料棒分離、脫殼、剪切等工序,是“切斷-浸取法”工藝的核心。由于乏燃料剪切機(jī)處在強(qiáng)放射性、高毒性、酸氣、粉塵、不能潤(rùn)滑等非??量痰臈l件下工作,因此必須在屏蔽和密閉條件下遠(yuǎn)距離操控進(jìn)行。針對(duì)乏燃料剪切機(jī)的監(jiān)測(cè)工作,并不能采用激光、振動(dòng)等方式[1]。乏燃料剪切機(jī)的噪聲信號(hào)涵蓋了運(yùn)行工作的狀態(tài),利用剪切機(jī)的工作噪聲進(jìn)行故障診斷與剪切機(jī)無(wú)接觸,不會(huì)影響其正常運(yùn)行[2],所以可以利用剪切機(jī)的工作噪聲對(duì)其進(jìn)行故障診斷。
目前機(jī)器學(xué)習(xí)與深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)故障診斷的常用方法[3-9],深度學(xué)習(xí)理論逐漸在學(xué)術(shù)界和工業(yè)界引起廣泛的關(guān)注,相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法,深度學(xué)習(xí)能夠自動(dòng)提取特征,更致力于深層的內(nèi)在規(guī)律與關(guān)聯(lián)。卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural networks, CNN)是具有卷積計(jì)算的深度神經(jīng)網(wǎng)絡(luò)。Seyed等[10]利用CNN實(shí)現(xiàn)模擬電路故障診斷,驗(yàn)證了CNN在該類問(wèn)題中應(yīng)用的優(yōu)越性。張弛[11]提出利用CNN進(jìn)行特征提取、支持向量機(jī) (support vector machine, SVM) 實(shí)現(xiàn)分類的故障診斷模型。李中等[12]考慮滾動(dòng)軸承的故障位置和損傷程度,提出雙分支卷積網(wǎng)絡(luò)的故障診斷方法。趙志宏等[13]利用馬爾科夫變遷場(chǎng) (Markov transition field, MFT) 對(duì)振動(dòng)信號(hào)編碼并生成相應(yīng)的特征圖,將其輸入CNN完成特征提取與故障分類。網(wǎng)絡(luò)的寬度與深度的增加可以有效地提高網(wǎng)絡(luò)的性能,但是只是簡(jiǎn)單地增加網(wǎng)絡(luò)的深度可能會(huì)導(dǎo)致梯度消失或者爆炸,甚至可能出現(xiàn)退化問(wèn)題,隨著層數(shù)的增加,網(wǎng)絡(luò)的預(yù)測(cè)效果反而越來(lái)越差。面對(duì)這些問(wèn)題,He等[14]提出使用批量歸一化 (batch normalization, BN) 層解決梯度消失或爆炸的問(wèn)題;為了解決深度神經(jīng)網(wǎng)絡(luò)中的退化問(wèn)題,He等[14]首次提出殘差神經(jīng)網(wǎng)絡(luò),殘差神經(jīng)網(wǎng)絡(luò)是一系列殘差塊組成的,即在兩層或者三層卷積層之間引入快捷連接,弱化每層之間的強(qiáng)關(guān)系,殘差神經(jīng)網(wǎng)絡(luò)核心思想是每個(gè)附加層都應(yīng)該更容易地包含原始函數(shù)作為其元素之一。Liang等[15]提出基于小波變換 (wavelet transformation, WT) 與全局奇異值分解 (singular value decomposition, SVD) 改進(jìn)殘差神經(jīng)網(wǎng)絡(luò) (residual network, ResNet) 的故障診斷方法,對(duì)噪聲具有更好的魯棒性。Qian等[16]提出基于模型數(shù)據(jù)增強(qiáng)的殘差神經(jīng)網(wǎng)絡(luò)分類器,并將其應(yīng)用到軸承故障診斷。Lin等[17]提出基于多尺度SE(squeeze and excitation)注意力模塊的殘差神經(jīng)網(wǎng)絡(luò)的故障診斷模型。Zhao等[18]使用ResNet-18深層網(wǎng)絡(luò)學(xué)習(xí)分類多光譜遙感圖像。
目前,基于殘差神經(jīng)網(wǎng)絡(luò)的故障診斷初見(jiàn)成效,但是剪切機(jī)的工作噪聲往往包含的信息量大與故障數(shù)據(jù)獲取難度高,為了提高診斷性能,會(huì)增加殘差神經(jīng)網(wǎng)絡(luò)中的深度,但是通道中的故障信息并不是全部值得關(guān)注,對(duì)通道的同等對(duì)待使得網(wǎng)絡(luò)計(jì)算復(fù)雜化、超參數(shù)難以確定?;诖?利用卷積塊注意力模塊 (convolutional block attention module,CBAM) 與貝葉斯優(yōu)化算法改進(jìn)殘差神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)乏燃料剪切機(jī)的故障狀態(tài)識(shí)別。
注意力機(jī)制的原理是將有限的信息處理資源更傾向于分配給重要的任務(wù),忽視無(wú)用的信息。卷積注意力模塊CBAM是通道注意力模塊與空間注意力模塊的串聯(lián)。通道注意力模塊是在空間維度上分別使用全局最大池化和全局平均池化來(lái)聚集特征信息,將其輸入多層感知機(jī)網(wǎng)絡(luò)中,并經(jīng)過(guò)非線性激活函數(shù)得到通道注意力特征權(quán)重;空間注意力模塊是在通道維度上使用全局最大池化和全局平均池化來(lái)聚集特征信息。CBAM的結(jié)構(gòu)如圖1[19]所示。
圖1 CBAM結(jié)構(gòu)[19]Fig.1 Convolutional block attention module[19]
卷積層是卷積神經(jīng)網(wǎng)絡(luò)中的組成部分之一,是利用卷積核遍歷數(shù)據(jù)進(jìn)行卷積運(yùn)算以實(shí)現(xiàn)對(duì)特征的提取。卷積層的運(yùn)算式[20]為
xl+1=f(kl?xl+bl)
(1)
式(1)中:xl+1為當(dāng)前層的輸出;xl為當(dāng)前層的輸入;kl為卷積核;bl為偏置;f(·)為激活函數(shù);?為卷積運(yùn)算。
激活函數(shù)是卷積層中的非線性計(jì)算,可以更有效地?cái)M合特征的映射,找到故障樣本與故障狀態(tài)之間的關(guān)聯(lián)。采用的激活函數(shù)一般是ReLu函數(shù),其表達(dá)式為
f(x)=max(0,x)
(2)
式(2)中:x為函數(shù)的輸入。
He等[14]提出殘差網(wǎng)絡(luò)的概念與結(jié)構(gòu),該網(wǎng)絡(luò)在CNN的基礎(chǔ)上加入殘差學(xué)習(xí)理念,設(shè)計(jì)出殘差塊結(jié)構(gòu)并構(gòu)建深層網(wǎng)絡(luò),殘差塊的結(jié)構(gòu)如圖2所示。
圖2 殘差塊Fig.2 Residual block
圖2(a)中的殘差塊為Basic Block結(jié)構(gòu),是由兩個(gè)相同輸出通道數(shù)的3×3卷積層構(gòu)成,每個(gè)卷積層后連接著一個(gè)批量歸一化BN層和ReLu激活函數(shù),跳過(guò)這兩個(gè)卷積層,將輸入加在第2個(gè)卷積層后的ReLu函數(shù)之前,這種結(jié)構(gòu)要求兩個(gè)卷積層的輸入輸出形狀保持一致,輸入與輸出才能疊加。圖2(b)中的殘差塊為Bottleneck Block結(jié)構(gòu),分別是由1×1、3×3、1×1的卷積層構(gòu)成,1×1卷積層的作用是降維與升維。
批量歸一化BN層用來(lái)標(biāo)準(zhǔn)化特征,以提高網(wǎng)絡(luò)訓(xùn)練的收斂速度與其泛化能力。Batch Normalization函數(shù)的計(jì)算公式為
(3)
yi=BNγ,β(xi)
(4)
構(gòu)建基于CBAM-ResNet乏燃料剪切機(jī)故障診斷模型的結(jié)構(gòu)如圖3所示,將CBAM放在第一與最后的卷積層之后以及每個(gè)Basic Block中,卷積層對(duì)特征進(jìn)行提取,CBAM聚焦更重要的特征信息,Bottleneck Block提取特征,減少參數(shù),節(jié)約訓(xùn)練時(shí)間,Basic Block結(jié)構(gòu)中引入CBAM使得特征提取更有效,實(shí)現(xiàn)更好的乏燃料剪切機(jī)故障狀態(tài)識(shí)別效果。
Conv為卷積;Global Average Pooling為全局平均池化圖3 CBAM-ResNet 模型Fig.3 CBAM-ResNet model
導(dǎo)致剪切機(jī)出現(xiàn)故障的原因很多,如螺絲松動(dòng)、刀體表面劃傷、崩刀、抓鉤斷裂、銷軸變形松動(dòng)等,但是故障樹(shù)分析表明,刀具磨損是剪切機(jī)在運(yùn)行過(guò)程中出現(xiàn)最多的故障模式,是導(dǎo)致整個(gè)系統(tǒng)停機(jī)的主要原因[1],因此主要針對(duì)剪切機(jī)的刀具磨損狀態(tài)進(jìn)行故障診斷。乏燃料剪切機(jī)的工作噪聲包括剪切乏燃料時(shí)的剪切噪聲與剪切完成后的退刀噪聲,在不同的刀具磨損狀態(tài)下,工作噪聲信號(hào)是有區(qū)別的,可以利用工作噪聲的變化規(guī)律實(shí)現(xiàn)對(duì)剪切機(jī)刀具的故障診斷。
首先將乏燃料剪切機(jī)的工作噪聲先統(tǒng)一為相同時(shí)長(zhǎng)、相同采樣率的格式,以便接下來(lái)的特征提取與學(xué)習(xí)。采集到的剪切機(jī)工作噪聲中可能會(huì)摻雜所在工作環(huán)境的噪聲,所以本文采用雙聲道差分法對(duì)剪切機(jī)的工作噪聲降噪。剪切機(jī)的傳聲器分為主傳聲器和降噪傳聲器,主傳聲器的安裝位置離剪切機(jī)近,降噪傳聲器距離剪切機(jī)比較遠(yuǎn),將噪聲中這兩種傳聲器傳送的信號(hào)進(jìn)行差分處理,即得到降噪后的剪切機(jī)噪聲信號(hào)。
將降噪完成的剪切機(jī)工作噪聲轉(zhuǎn)化為梅爾頻譜圖,并利用SpecAugment 技術(shù)對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng),該技術(shù)防止網(wǎng)絡(luò)過(guò)擬合,增加了神經(jīng)網(wǎng)絡(luò)的魯棒性。將數(shù)據(jù)增強(qiáng)后的梅爾頻譜圖輸入到所構(gòu)建的乏燃料剪切機(jī)故障診斷模型中。
輸入的梅爾頻譜圖經(jīng)過(guò)首個(gè)卷積層進(jìn)行初步的信息整合與特征提取,首個(gè)卷積層使用的是5×5的大卷積核以提取大尺度的特征。在每個(gè)卷積層進(jìn)行卷積運(yùn)算,ReLu激活函數(shù)進(jìn)行非線性映射后,加入BN層,進(jìn)一步提高網(wǎng)絡(luò)訓(xùn)練的收斂速度與其泛化能力。在首個(gè)卷積層后加入CBAM。CBAM對(duì)提取的特征進(jìn)行計(jì)算生成、分配注意力權(quán)重,以調(diào)節(jié)網(wǎng)絡(luò)中提取特征的比重,聚焦更重要的特征信息,提高網(wǎng)絡(luò)特征提取的效率。接著使用Bottleneck Block結(jié)構(gòu)的殘差塊對(duì)特征進(jìn)行增加通道數(shù)、壓縮空間維度,繼續(xù)特征的提取;使用Basic Block結(jié)構(gòu)的殘差塊對(duì)特征進(jìn)行等值特征提取,不改變特征的通道數(shù)與空間維度,在Basic Block結(jié)構(gòu)中加入CBAM, 和殘差塊中輸入的恒等變換一樣,將CBAM放入第二個(gè)卷積層后的ReLu函數(shù)之前,CBAM-Basic Block的結(jié)構(gòu)如圖4所示。
圖4 CBAM-Basic Block 模型Fig.4 CBAM-Basic Block model
模型中的特征依次經(jīng)過(guò)4個(gè)Bottleneck Block與 CBAM-Basic Block的間隔連接結(jié)構(gòu)之后,輸入到最后一個(gè)卷積層后經(jīng)過(guò)CBAM進(jìn)行最后的特征整合,全局平均池化層獲取故障分類所需的特征,通過(guò)Softmax分類器輸出乏燃料剪切機(jī)的故障狀態(tài)。
在神經(jīng)網(wǎng)絡(luò)中,需要的參數(shù)分為模型參數(shù)與超參數(shù),其中在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中模型參數(shù)可以進(jìn)行自動(dòng)學(xué)習(xí)調(diào)整,但是優(yōu)化器等部分超參數(shù)需要人為設(shè)置,超參數(shù)的確定直接影響神經(jīng)網(wǎng)絡(luò)的評(píng)估性能與預(yù)測(cè)效果,所以選擇合適的超參數(shù)很重要。貝葉斯優(yōu)化算法作為全局優(yōu)化算法之一,能夠在較少的目標(biāo)函數(shù)評(píng)價(jià)下精準(zhǔn)地找到目標(biāo)函數(shù)的最優(yōu)解[21],可以有效地調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)超參數(shù)。
貝葉斯優(yōu)化主要包括概率代理模型與采集函數(shù),概率代理函數(shù)通過(guò)先采樣幾個(gè)點(diǎn)擬合出目標(biāo)函數(shù),并基于此,在可能是最小值點(diǎn)的附近采集更多的點(diǎn)或者在沒(méi)有采樣的范圍采集更多的點(diǎn),采樣的過(guò)程可以通過(guò)構(gòu)建采集函數(shù)來(lái)表示,利用更多的點(diǎn)更新代理函數(shù),使其擬合的效果更優(yōu),更容易找到目標(biāo)函數(shù)的最優(yōu)解。
貝葉斯優(yōu)化的過(guò)程為[22]:①確定最大的迭代次數(shù);②最大化采集函數(shù),確定下一個(gè)評(píng)估點(diǎn);利用評(píng)估點(diǎn)評(píng)估目標(biāo)函數(shù)值;③整合數(shù)據(jù),更新概率代理模型;④重復(fù)②~④步,直到達(dá)到最大迭代次數(shù)。
貝葉斯優(yōu)化希望盡可能使用少次的目標(biāo)函數(shù)評(píng)估優(yōu)化函數(shù)的后驗(yàn)概率,得到最優(yōu)超參數(shù)組合[23],貝葉斯優(yōu)化的超參數(shù)組合的選擇可表示為
(5)
式(5)中:f′(x)為目標(biāo)函數(shù);x*為最優(yōu)的超參數(shù)組合;X為超參數(shù)組合空間。
利用貝葉斯優(yōu)化對(duì)CBAM-ResNet模型進(jìn)行超參數(shù)選擇時(shí),以CBAM-ResNet模型故障診斷識(shí)別的誤差作為目標(biāo)函數(shù),選擇優(yōu)化器類別與學(xué)習(xí)率為要選擇的超參數(shù)。
該乏燃料剪切機(jī)故障診斷模型主要是由貝葉斯優(yōu)化算法與CBAM-ResNet模型構(gòu)成,用于對(duì)乏燃料剪切機(jī)工作噪聲特征信息的提取、整合,并進(jìn)行特征信息與故障狀態(tài)的映射與關(guān)聯(lián),實(shí)現(xiàn)對(duì)故障狀態(tài)的分類診斷。貝葉斯優(yōu)化CBAM-ResNet乏燃料剪切機(jī)故障診斷模型分為3個(gè)階段:貝葉斯優(yōu)化超參數(shù)階段、CBAM-ResNet模型訓(xùn)練階段與CBAM-ResNet故障分類診斷階段。超參數(shù)優(yōu)化階段主要是通過(guò)貝葉斯優(yōu)化算法優(yōu)化CBAM-ResNet模型中的優(yōu)化器等超參數(shù);模型訓(xùn)練階段主要是由卷積層、殘差塊進(jìn)行樣本數(shù)據(jù)的特征提取,CBAM通過(guò)生成、分配權(quán)重來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù),使得網(wǎng)絡(luò)更關(guān)注重要的特征信息,并根據(jù)模型的效果不斷調(diào)整,獲取精確的乏燃料剪切機(jī)故障診斷模型;模型故障分類診斷階段將測(cè)試集輸入到訓(xùn)練好的CBAM-ResNet模型中,進(jìn)行乏燃料剪切機(jī)的故障診斷,得到其故障類型?;谪惾~斯優(yōu)化的CBAM-ResNet模型流程圖如圖5所示。
圖5 CBAM-ResNet模型算法流程圖Fig.5 Flow chart of CBAM-ResNet model
乏燃料剪切機(jī)工作噪聲的能量頻率在5 000~20 000 Hz,本文采樣率為44 100 Hz,滿足采樣定律的要求。刀具磨損分為正常、輕度磨損、重度磨損與損壞4種狀態(tài)。4種磨損狀態(tài)的照片如圖6所示。
圖6 乏燃料剪切機(jī)故障狀態(tài)Fig.6 Spent fuel shear fault status
共選取126個(gè)乏燃料剪切機(jī)工作噪聲樣本,其中,正常狀態(tài)的有41個(gè),輕度磨損的有23個(gè),重度磨損的有49個(gè),損壞的有13個(gè)。
將所有乏燃料剪切機(jī)工作噪聲文件標(biāo)準(zhǔn)化并轉(zhuǎn)化為相同的采樣率44 100 Hz,接下來(lái)將所有工作噪聲文件長(zhǎng)度截取到相同的長(zhǎng)度22 s。使用雙聲道差分法將乏燃料剪切機(jī)中與工作無(wú)關(guān)的噪音消除,將降噪后的工作噪聲轉(zhuǎn)化為梅爾頻譜圖,對(duì)梅爾頻譜圖進(jìn)行數(shù)據(jù)增強(qiáng)后作為模型的輸入。
將乏燃料剪切機(jī)的工作噪聲預(yù)處理過(guò)程可視化,乏燃料剪切機(jī)工作噪聲的原始聲波圖如圖7所示。
圖7 原始聲波圖Fig.7 Original sonogram
經(jīng)過(guò)雙聲道差分法降噪的乏燃料剪切機(jī)工作噪聲聲波如圖8所示。
將乏燃料剪切機(jī)工作噪聲轉(zhuǎn)化成的梅爾頻譜圖如圖9所示。
圖9 梅爾頻譜圖Fig.9 Mel spectrum
經(jīng)過(guò)SpecAugment技術(shù)數(shù)據(jù)增強(qiáng)后的梅爾頻譜圖如圖10所示。
圖10 數(shù)據(jù)增強(qiáng)后的梅爾頻譜圖Fig.10 Data enhanced mel spectrum
選取Python語(yǔ)言的Pytorch框架、使用Windows10、8 GB計(jì)算機(jī)內(nèi)存硬件配置進(jìn)行剪切機(jī)故障診斷模型的構(gòu)建。乏燃料剪切機(jī)故障診斷模型中網(wǎng)絡(luò)的參數(shù)設(shè)置如表1所示。
表1 模型網(wǎng)絡(luò)的參數(shù)設(shè)置Table 1 Parameter setting of model network
利用貝葉斯優(yōu)化對(duì)優(yōu)化器類別與學(xué)習(xí)率超參數(shù)進(jìn)行優(yōu)化,最大迭代次數(shù)為80,優(yōu)化器的選擇為Adam、隨機(jī)梯度下降(stochastic gradient descent, SGD),學(xué)習(xí)率最大值的選擇為0.01、0.001。經(jīng)過(guò)貝葉斯對(duì)網(wǎng)絡(luò)模型超參數(shù)進(jìn)行優(yōu)化后選擇優(yōu)化器為Adam,學(xué)習(xí)率最大值的選擇為0.01。優(yōu)化后的CBAM-ResNet模型訓(xùn)練的參數(shù)如表2所示。
表2 模型訓(xùn)練的參數(shù)設(shè)置Table 3 Parameter setting of model training
在所有樣本中選擇75%作為訓(xùn)練樣本,剩余25%的樣本作為驗(yàn)證樣本。為了驗(yàn)證所構(gòu)建的基于貝葉斯優(yōu)化的CBAM-ResNet模型故障診斷的效果,建立殘差神經(jīng)網(wǎng)絡(luò)與基于CBAM的殘差神經(jīng)網(wǎng)絡(luò),設(shè)置這兩種模型的網(wǎng)絡(luò)層數(shù)與卷積核大小、步長(zhǎng)等參數(shù)與構(gòu)建的模型相同,并使用相同的樣本對(duì)這兩種進(jìn)行訓(xùn)練,模型的診斷結(jié)果如圖11、表3所示。
表3 模型驗(yàn)證結(jié)果對(duì)比Table 3 Comparison of model validation results
圖11 模型驗(yàn)證結(jié)果Fig.11 Model validation results
對(duì)于每種狀態(tài)的樣本,優(yōu)化后的CBAM-ResNet模型的準(zhǔn)確率比ResNet模型的準(zhǔn)確率更高;而相對(duì)于CBAM-ResNet模型,對(duì)于輕度磨損、重度磨損與損壞的樣本,優(yōu)化后的CBAM-ResNet模型的準(zhǔn)確率更高,對(duì)于正常狀態(tài)的樣本,優(yōu)化后的CBAM-ResNet模型與CBAM-ResNet模型的準(zhǔn)確率相同。相對(duì)于ResNet、CBAM-ResNet模型,基于貝葉斯優(yōu)化的CBAM-ResNet模型故障狀態(tài)識(shí)別總準(zhǔn)確率為93.67%,均高于ResNet與CBAM-ResNet模型,結(jié)果證實(shí)基于貝葉斯優(yōu)化的CBAM-ResNet模型具有更好的故障診斷能力。
引入CBAM與貝葉斯優(yōu)化的方式改進(jìn)殘差神經(jīng)網(wǎng)絡(luò),構(gòu)建基于貝葉斯優(yōu)化與CBAM-ResNet的乏燃料剪切機(jī)故障診斷模型。得出如下結(jié)論。
(1)在對(duì)乏燃料剪切機(jī)的工作噪聲預(yù)處理時(shí),采用雙聲道差分法對(duì)工作噪聲進(jìn)行降噪處理,將其轉(zhuǎn)化為梅爾頻譜圖并對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)后輸入構(gòu)建的模型中。
(2)在首個(gè)與最后的卷積層后和Basic Block中加入CBAM,構(gòu)建了CBAM-ResNet模型以實(shí)現(xiàn)對(duì)乏燃料剪切機(jī)的故障診斷。CBAM集結(jié)了通道注意力與空間注意力,提高模型特征提取的效果。
(3)使用貝葉斯優(yōu)化對(duì)CBAM-ResNet模型進(jìn)行超參數(shù)的優(yōu)化,得到相對(duì)更優(yōu)的超參數(shù)模型。