卓德兵，曹 暉

(1. 重慶大學(xué)土木工程學(xué)院，重慶 400045；2. 重慶大學(xué)山地城鎮(zhèn)建設(shè)與新技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400045；3. 吉首大學(xué)土木工程與建筑學(xué)院，張家界 427000)

螺栓連接廣泛應(yīng)用于工程結(jié)構(gòu)，尤其是鋼結(jié)構(gòu)和組合結(jié)構(gòu)。在服役期內(nèi)，結(jié)構(gòu)遭遇的不可避免的振動(dòng)和沖擊等外部作用會(huì)導(dǎo)致螺栓連接狀態(tài)的改變，出現(xiàn)松動(dòng)、滑移甚至脫落等問題，從而降低結(jié)構(gòu)的剛度、破壞結(jié)構(gòu)的完整性，危及結(jié)構(gòu)安全[1]。因此，螺栓連接狀態(tài)的監(jiān)測(cè)，對(duì)于保證結(jié)構(gòu)安全、避免重大安全事故和降低事故危害性具有重要意義。

目前，常用的螺栓連接損傷檢測(cè)方法分為基于模態(tài)和基于阻抗兩類[2]。螺栓松動(dòng)會(huì)改變結(jié)構(gòu)連接狀態(tài)，從而導(dǎo)致結(jié)構(gòu)模態(tài)參數(shù)發(fā)生相應(yīng)的變化[3]。將實(shí)測(cè)的結(jié)構(gòu)模態(tài)參數(shù)與基準(zhǔn)參數(shù)比較，從而判斷螺栓連接狀態(tài)是基于模態(tài)的檢測(cè)方法的基本原理。然而，結(jié)構(gòu)的低階振動(dòng)參數(shù)和低頻段傳遞特性等特征參量對(duì)螺栓連接損傷這樣的局部特性變化不夠敏感[4]。如果要提高特征參量的靈敏度，就需要在高頻段甚至極高頻段準(zhǔn)確測(cè)量和識(shí)別結(jié)構(gòu)的模態(tài)參數(shù)，這在目前還存在很大困難。此外，結(jié)構(gòu)模態(tài)參數(shù)的識(shí)別多是基于線彈性振動(dòng)的假設(shè)，會(huì)不可避免地過濾掉重要的非線性振動(dòng)現(xiàn)象。這使得其在螺栓連接狀態(tài)監(jiān)測(cè)上存在先天不足[5 ? 6]。

基于阻抗的方法是比較結(jié)構(gòu)監(jiān)測(cè)狀態(tài)與基準(zhǔn)狀態(tài)下的高頻段阻抗譜，判別螺栓連接的損傷程度。自Sun等[7]首次提出應(yīng)用壓電阻抗方法監(jiān)測(cè)桁架結(jié)構(gòu)的節(jié)點(diǎn)狀態(tài)以來，不少學(xué)者研究了基于該方法的螺栓連接狀態(tài)的監(jiān)測(cè)和辨識(shí)[8 ? 10]。這種方法受到測(cè)點(diǎn)數(shù)量的制約。以具有大量的連接節(jié)點(diǎn)和螺栓的鋼桁架為例，同時(shí)監(jiān)測(cè)所有的節(jié)點(diǎn)，需要大量的傳感器，經(jīng)濟(jì)性不佳[2]。而且與基于模態(tài)的方法一樣，基于阻抗的技術(shù)往往對(duì)激勵(lì)和實(shí)測(cè)環(huán)境有嚴(yán)格的要求，比如通常需要結(jié)構(gòu)的某些功能暫時(shí)中斷，這給在線監(jiān)測(cè)造成了困難[1 ? 2]。此外，這類方法使用的采集設(shè)備通常較大或昂貴(或二者兼具)，不利于實(shí)際應(yīng)用[7 ? 9]。

近年來，利用聲音信號(hào)進(jìn)行損傷檢測(cè)的技術(shù)愈發(fā)興起。聲音信號(hào)具有時(shí)間分辨率高，傳播具有全向性且不受能見度限制等優(yōu)點(diǎn)[11]。不同于傳統(tǒng)的振動(dòng)信號(hào)測(cè)量，需要將傳感器固定于被測(cè)物體表面且對(duì)布點(diǎn)有較高的要求，聲音測(cè)量屬于非接觸式測(cè)量，采用的傳聲器測(cè)量裝置受空間限制少、安裝方便且造價(jià)相對(duì)較低[12]，并能夠有效避免加速度傳感器測(cè)量時(shí)普遍存在的飽和及失效現(xiàn)象。Garcia-Perez等[13]基于高分辨率光譜分析的多信號(hào)分類算法，利用聲音信號(hào)對(duì)存在單個(gè)故障的感應(yīng)電動(dòng)機(jī)的故障狀態(tài)進(jìn)行識(shí)別。Amarnath等[14]采用決策樹機(jī)器學(xué)習(xí)方法，對(duì)從軸承現(xiàn)場(chǎng)附近采集的聲音信號(hào)進(jìn)行分析處理，實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械軸承故障診斷。Madhusudana等[15]提出了一種基于決策樹和聲信號(hào)小波變換技術(shù)的故障診斷方法，可以對(duì)銑刀表面粗糙度、尺寸公差和刀具狀態(tài)進(jìn)行識(shí)別和監(jiān)控。Lu等[16]提出了一種基于瞬態(tài)聲信號(hào)分析的變速器軸承故障診斷方法，該方法可以準(zhǔn)確地估計(jì)故障引起的脈沖的相位信息，為實(shí)現(xiàn)變速電機(jī)軸承故障診斷提供了一種簡(jiǎn)單有效的方法。瞿金秀等[17]構(gòu)建了一種基于聲音信號(hào)的結(jié)構(gòu)損傷識(shí)別模型，并將該模型應(yīng)用于實(shí)驗(yàn)懸臂梁和鐵路轉(zhuǎn)轍機(jī)動(dòng)作桿的裂紋損傷識(shí)別。

基于聲音信號(hào)的損傷識(shí)別方法研究目前大多集中在旋轉(zhuǎn)機(jī)械領(lǐng)域，借鑒傳統(tǒng)的語音識(shí)別技術(shù)，即通過人為選取特征參數(shù)，采用決策樹、支持向量機(jī)等方法進(jìn)行建模，識(shí)別損傷狀態(tài)下的聲音信號(hào)。依靠人工選取的特征往往比較單一并帶有較強(qiáng)的主觀性。決策樹和支持向量機(jī)屬于淺層模型，需要進(jìn)行復(fù)雜的調(diào)參，且每個(gè)方法都是針對(duì)具體應(yīng)用，泛化能力及魯棒性較差，影響了其實(shí)用性[18]。近年來，得益于計(jì)算機(jī)硬件水平的提升，尤其是云計(jì)算和大規(guī)模GPU并行計(jì)算的發(fā)展，以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)在圖像分類、目標(biāo)檢測(cè)和圖像分割等計(jì)算機(jī)視覺任務(wù)中表現(xiàn)出了巨大的優(yōu)越性[19]，更多更深的卷積神經(jīng)網(wǎng)絡(luò)如AlexNet(2012年)、VGGNet(2014年)、GoogleNet(2014年)、ResNet(2015年)等相繼被提出[20 ? 22]。深度學(xué)習(xí)技術(shù)主要依靠數(shù)據(jù)驅(qū)動(dòng)進(jìn)行特征提取，通過學(xué)習(xí)大量樣本得到深層的、特定的特征表示，對(duì)樣本集的表征更高效和準(zhǔn)確，魯棒性更強(qiáng)，泛化能力更好。目前，利用深度卷積神經(jīng)網(wǎng)絡(luò)解決工程問題成為了眾多領(lǐng)域的研究熱點(diǎn)[23 ? 27]。深度卷積神經(jīng)網(wǎng)絡(luò)在聲學(xué)建模方面也取得了飛速的發(fā)展，并逐漸成為語音識(shí)別的主流模型[28]。在非語音信號(hào)識(shí)別中，如環(huán)境聲音識(shí)別[29]，變壓器聲紋識(shí)別[30]，深度學(xué)習(xí)也有一定的應(yīng)用。

本文以振動(dòng)環(huán)境下螺栓連接結(jié)構(gòu)為研究對(duì)象，提出基于聲音信號(hào)的螺栓連接損傷智能識(shí)別方法。對(duì)于常年處于振動(dòng)環(huán)境中的鋼桁架結(jié)構(gòu)，如載人索道支架，當(dāng)結(jié)構(gòu)桿件的連接螺栓發(fā)生松動(dòng)時(shí)，螺栓連接界面在鋼絲繩和吊籃激勵(lì)作用下發(fā)生碰撞而發(fā)出特有的聲音信號(hào)。與普通旋轉(zhuǎn)機(jī)械故障產(chǎn)生的聲音信號(hào)不同，螺栓松動(dòng)發(fā)出的聲音信號(hào)具有典型的時(shí)變非線性特征，同時(shí)考慮到工程結(jié)構(gòu)所處室外環(huán)境噪聲干擾嚴(yán)重，本文將小波時(shí)頻圖與輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2相結(jié)合，充分發(fā)揮小波時(shí)頻分析處理非平穩(wěn)信號(hào)的優(yōu)勢(shì)和MobileNetv2強(qiáng)大的圖像分類能力，實(shí)現(xiàn)基于聲音信號(hào)的螺栓連接損傷識(shí)別。

1 螺栓松動(dòng)損傷識(shí)別原理

1.1 聲音信號(hào)的預(yù)處理

首先，對(duì)麥克風(fēng)采集的聲音信號(hào)進(jìn)行分幀、加窗處理，同時(shí)求取各幀信號(hào)的短時(shí)能量。

假設(shè)x(n)為麥克風(fēng)接收到的聲音信號(hào)離散序列，ω(n) 為窗函數(shù)，L為幀長(zhǎng)，inc為幀移，N為分幀后的總幀數(shù)，則第i幀信號(hào)xi(n)可以表示為：

第i幀信號(hào)xi(n) 的短時(shí)能量E(i)定義如下：

1.2 小波時(shí)頻分析

經(jīng)分幀加窗處理之后，對(duì)聲音信號(hào)進(jìn)行連續(xù)小波變換。連續(xù)小波變換的公式如下：

式中，母小波ψ 采用Complex Morlet小波。Complex Morlet是一種常用的復(fù)值小波，與其它小波相比，該小波在時(shí)頻兩域均具有良好的分辨率，在時(shí)頻圖上反映的時(shí)頻聚集性好，適合于處理非平穩(wěn)的聲音信號(hào)。

將聲音信號(hào)進(jìn)行連續(xù)小波變換生成為時(shí)頻圖，需要用到matlab小波工具箱中的cwt( )、scal2frq( )、imagesc( )等函數(shù)，其步驟為：首先確定小波基和尺度，并利用cwt( )求小波系數(shù)coefs，然后用scal2frq( )將尺度序列轉(zhuǎn)換為實(shí)際頻率序列f，最后結(jié)合時(shí)間序列t，用imagesc(t,f,abs(coefs))畫出小波時(shí)頻圖。

1.3 MobileNetv2輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)

自從2006年Hinton等[31]在《Science》上首次提出深度學(xué)習(xí)的概念，深度神經(jīng)網(wǎng)絡(luò)的表征學(xué)習(xí)能力得到了廣泛關(guān)注。在深度學(xué)習(xí)領(lǐng)域中，已經(jīng)驗(yàn)證的典型成熟算法有卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、生成對(duì)抗網(wǎng)絡(luò)(GANs)、深度強(qiáng)化學(xué)習(xí)(RL)等。其中CNN是深度學(xué)習(xí)最為典型的網(wǎng)絡(luò)模型，一般由卷積層、池化層和全連接層等組成，CNN通過構(gòu)建多個(gè)能夠提取輸入數(shù)據(jù)特征的卷積核，結(jié)合稀疏連接、權(quán)重共享、空間或時(shí)間上的降采樣，對(duì)輸入數(shù)據(jù)進(jìn)行逐層卷積及池化，逐級(jí)提取隱藏在數(shù)據(jù)之中的拓?fù)浣Y(jié)構(gòu)特征。

然而，經(jīng)典的CNN由于模型參數(shù)和運(yùn)算量龐大，分析時(shí)需要占用大量的存儲(chǔ)空間且對(duì)計(jì)算機(jī)硬件要求高。在工程應(yīng)用中，很多設(shè)備(如移動(dòng)、嵌入式設(shè)備)的計(jì)算能力和存儲(chǔ)空間都很有限，難以運(yùn)行這樣的模型，不利于CNN技術(shù)的工程普及。為了能夠讓深度網(wǎng)絡(luò)適應(yīng)這些設(shè)備，2017年，Howard等[32]提出了輕量級(jí)CNN網(wǎng)絡(luò)MobileNetv1。MobileNetv1的核心層使用了一種稱之為Separable Convolution的操作來替代傳統(tǒng)的標(biāo)準(zhǔn)卷積，該網(wǎng)絡(luò)在保證計(jì)算精度基本不降低(或小幅降低)的前提下大幅減少模型參數(shù)與運(yùn)算量。2018年，Sandler等[33]又進(jìn)一步提出了MobileNetv2。MobileNetv2網(wǎng)絡(luò)在卷積過程中使用了一種名為Inverted Residuals and Linear Bottlenecks的結(jié)構(gòu)，如圖1所示，解決了上一版本中Separable Convolution存在的輸入層Kernel數(shù)量固定的瓶頸，而且模型更小，準(zhǔn)確率更高。

圖1 MobileNetv2卷積過程Fig.1 Convolution process of MobileNetv2

本文采用的網(wǎng)絡(luò)結(jié)構(gòu)模型為MobileNetv2模型，如表1所示。

在表1中，擴(kuò)展因子用于調(diào)整輸入圖像的大小，同一序列中的所有層具有相同的輸出通道數(shù)，除第一層外，其他層的步長(zhǎng)為1；所有空間卷積使用3×3的核。

表1 網(wǎng)絡(luò)結(jié)構(gòu)模型Table 1 Network structure model

1.4 基于小波時(shí)頻圖與MobileNetv2的螺栓松動(dòng)識(shí)別方法

基于小波時(shí)頻圖與MobileNetv2的螺栓松動(dòng)識(shí)別方法結(jié)構(gòu)圖如圖2所示。該方法分為訓(xùn)練和測(cè)試兩個(gè)階段，訓(xùn)練階段是利用傳聲器采集足夠數(shù)量的螺栓松動(dòng)聲音信號(hào)和環(huán)境噪聲信號(hào)，通過信號(hào)處理方法提取聲音信號(hào)的小波時(shí)頻圖作為輸入，利用設(shè)置好參數(shù)的MobileNetv2進(jìn)行訓(xùn)練得到螺栓松動(dòng)識(shí)別模型。測(cè)試階段則是利用訓(xùn)練好的模型對(duì)輸入的未知信號(hào)進(jìn)行識(shí)別。

圖2 小波時(shí)頻圖- MobileNetv2螺栓松動(dòng)損傷識(shí)別方法結(jié)構(gòu)圖Fig.2 Structural diagram of bolt loosening damage identification method based on wavelet time frequency diagrams and MobileNetv2

2 鋼桁架試驗(yàn)

2.1 試驗(yàn)簡(jiǎn)介

試驗(yàn)?zāi)Ｐ蜑橐晃挥谑彝獾仄荷系恼呅武摴芩芙Y(jié)構(gòu)，如圖3所示。模型邊長(zhǎng)為1.5 m，高度為6 m，共四層，底層距離地面高度為0.5 m，其余三層高度為1.8 m。塔身立柱采用直徑為16 cm的Q235無縫鋼管，所有的水平桿件和斜桿均采用等邊角鋼L40×4，各桿件端部與立柱節(jié)點(diǎn)板間采用2個(gè)M20螺栓連接(如圖3(a))，每根立柱與地面采用四個(gè)地腳螺栓連接。模型每層有6個(gè)節(jié)點(diǎn)，4層共計(jì)24個(gè)連接節(jié)點(diǎn)。為便于下文分析，對(duì)各節(jié)點(diǎn)統(tǒng)一編號(hào)，如圖3(b)所示，如Ji4表示第i層第4個(gè)節(jié)點(diǎn)。

本試驗(yàn)數(shù)據(jù)采集系統(tǒng)由拾音設(shè)備、數(shù)據(jù)采集設(shè)備及計(jì)算機(jī)組成。拾音設(shè)備為放置于模型底部中心位置的8個(gè)麥克風(fēng)組成的環(huán)形麥克風(fēng)陣列，陣列直徑20 cm，距地面20 cm。麥克風(fēng)采用MPA416全指向性麥克風(fēng)，數(shù)據(jù)采集模塊采用PXI動(dòng)態(tài)信號(hào)測(cè)試分析儀，如圖3所示。

試驗(yàn)步驟如下：

步驟1：損傷工況、噪聲工況及復(fù)雜工況的模擬。通過松動(dòng)不同位置、不同數(shù)量以及不同程度的螺栓，模擬10種損傷工況，如表2所示。通過一放置于J12節(jié)點(diǎn)位置處的手機(jī)控制的藍(lán)牙音箱(見圖3(c))模擬蟬鳴聲、音樂聲、下雨聲和語音4種常見環(huán)境噪聲工況。通過組合工況6+蟬鳴聲、工況6+下雨聲構(gòu)造2種復(fù)雜工況。

表2 損傷工況Table 2 Damage cases

步驟2：模型激振。采用小型偏心式激振器進(jìn)行激振，當(dāng)測(cè)試第1層～第2層節(jié)點(diǎn)時(shí)，激振器固定于J12與J13節(jié)點(diǎn)之間的橫桿位置處。當(dāng)測(cè)試第3層～第4層節(jié)點(diǎn)時(shí)，激振器固定于J32與J33節(jié)點(diǎn)之間的橫桿位置處，如圖3(e)所示。

圖3 試驗(yàn)?zāi)Ｐ图皽y(cè)試系統(tǒng)Fig.3 Test model and test system

步驟3：信號(hào)采集。利用PXI動(dòng)態(tài)信號(hào)測(cè)試分析儀分別采集10種損傷工況、4種噪聲工況以及2種復(fù)雜工況共計(jì)16種工況的聲音信號(hào)，信號(hào)采樣頻率為20 kHz。

2.2 聲音信號(hào)小波時(shí)頻分析

對(duì)采集到的各工況聲音信號(hào)進(jìn)行分幀、加窗處理，并分析其短時(shí)能量。分幀的幀長(zhǎng)取1024點(diǎn)，幀移取512點(diǎn)，加漢寧窗。采用Complex Morlet進(jìn)行連續(xù)小波變換，其中帶寬參數(shù)和小波中心頻率均取3，尺度序列長(zhǎng)度取256。

圖4～圖6分別給出了時(shí)長(zhǎng)為1 s的蟬鳴聲、下雨聲、工況6聲音信號(hào)的典型波形圖和相應(yīng)的38幀短時(shí)能量分布圖，以及利用短時(shí)能量最大的信號(hào)幀分析得到的功率譜圖和小波時(shí)頻圖。從圖4～圖6的功率譜圖可以看出，三類信號(hào)的頻率成分非常豐富，其中蟬鳴聲頻率主要分布在2000 Hz附近和3000 Hz～4000 Hz，下雨聲主要分布在1000 Hz～3000 Hz，而螺栓松動(dòng)聲音的頻率在0 Hz～4000 Hz均有分布。因此，很難根據(jù)功率譜圖的特征識(shí)別各工況下的聲音信號(hào)。

圖4 蟬鳴聲信號(hào)圖及短時(shí)能量最大幀的分析結(jié)果Fig.4 Cicada sound signal diagram and analysis results of frame with the largest short-time energy

圖5 下雨聲信號(hào)圖及短時(shí)能量最大幀的分析結(jié)果Fig.5 Rain sound signal diagram and analysis results of frame with the largest short-time energy

圖6 工況6信號(hào)圖及短時(shí)能量最大幀的分析結(jié)果Fig.6 Signal diagram of Case 6 and analysis results of frame with the largest short-time energy

與功率譜圖不同，小波時(shí)頻圖顯示了信號(hào)頻率成分隨時(shí)間的變化。小波時(shí)頻圖通過冷暖顏色反映信號(hào)各頻率成分?jǐn)y帶的能量大小，顏色越暖能量越大。從圖4～圖6中可以看出，三種信號(hào)的小波時(shí)頻圖暖色部分大多呈現(xiàn)不規(guī)則塊狀分布，且沿時(shí)間軸的顏色變化也十分復(fù)雜。這樣的時(shí)頻圖很難通過人工判斷或常規(guī)的模式識(shí)別方法找出其規(guī)律，從而辨別各工況下螺栓松動(dòng)聲音信號(hào)。對(duì)此，輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2可以發(fā)揮其強(qiáng)大的圖像分類功能。

2.3 數(shù)據(jù)集構(gòu)造

數(shù)據(jù)是深度學(xué)習(xí)的“原材料”，學(xué)習(xí)結(jié)果的好壞與數(shù)據(jù)的規(guī)模和質(zhì)量密切相關(guān)。對(duì)本文設(shè)定的16種工況聲音信號(hào)重復(fù)實(shí)測(cè)3次，依次對(duì)麥克風(fēng)接收到的聲音信號(hào)進(jìn)行分幀、加窗預(yù)處理，根據(jù)短時(shí)能量大小選擇特定數(shù)目的信號(hào)幀，進(jìn)而進(jìn)行小波時(shí)頻分析構(gòu)造數(shù)據(jù)集。本文在進(jìn)行數(shù)據(jù)集構(gòu)建時(shí)每一工況選取的典型信號(hào)時(shí)長(zhǎng)為15 s，經(jīng)分幀后共計(jì)有584幀信號(hào)。去除短時(shí)能量低于某一特定閾值的信號(hào)幀，選擇短時(shí)能量偏大的500幀信號(hào)進(jìn)行小波時(shí)頻分析獲得其小波時(shí)頻圖。將每一個(gè)小波時(shí)頻圖作為一個(gè)樣本，可以得到一個(gè)由500個(gè)典型樣本構(gòu)成的數(shù)據(jù)集。

圖6展示的是工況6采集到的一段時(shí)長(zhǎng)為1 s的聲音信號(hào)，其中前半部分為激振器信號(hào)(含弱環(huán)境干擾)，后半部分為螺栓松動(dòng)信號(hào)。從圖6中可以看出，激振器信號(hào)的短時(shí)能量(約為0.2)要明顯小于螺栓松動(dòng)信號(hào)。因此，為了排除激振器信號(hào)對(duì)最終結(jié)果的影響，提高分析效率，本文取一個(gè)稍微偏大的預(yù)警閥值T=0.5，即僅選擇T≥0.5的信號(hào)幀進(jìn)行小波時(shí)頻分析。

對(duì)16種工況聲音信號(hào)分析得到的各小波時(shí)頻圖進(jìn)行歸類并標(biāo)注，其中10種損傷工況依次用A～J表示，4種噪聲工況用K～N表示，2種復(fù)雜工況用O和P表示。每個(gè)數(shù)據(jù)集按照8∶1∶1的比例隨機(jī)劃分出400個(gè)樣本作為訓(xùn)練集，用以訓(xùn)練模型參數(shù)。50個(gè)樣本作為驗(yàn)證集，用來對(duì)模型的參數(shù)進(jìn)行調(diào)優(yōu)并初步評(píng)估模型的準(zhǔn)確性，剩余的50個(gè)樣本作為測(cè)試集，用于評(píng)價(jià)模型的泛化能力。因此，最終構(gòu)造的數(shù)據(jù)集為8000個(gè)樣本，其中訓(xùn)練集樣本為6400個(gè)，驗(yàn)證集和測(cè)試集樣本各為800個(gè)。

3 模型訓(xùn)練

MobileNetv2卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)需要設(shè)置的參數(shù)主要有BatchSize、learning_rate、Dropout、Epochs、num_classes等。綜合考慮訓(xùn)練集樣本特征和大小、計(jì)算機(jī)硬件水平、網(wǎng)絡(luò)結(jié)構(gòu)的深度和復(fù)雜度等因素，設(shè)定BatchSize為32、learning_rate為0.0005、Dropout為0.2、Epochs為100、num_classes為16、損傷函數(shù)采用交叉熵(Cross-Entropy)損失函數(shù)。MobileNetv2模型運(yùn)行的計(jì)算機(jī)平臺(tái)及編程環(huán)境如表3所示。

表3 計(jì)算機(jī)平臺(tái)及環(huán)境配置Table 3 Computer platform and environment configuration

圖7展示了當(dāng)輸入模型的樣本幀長(zhǎng)分別取128、256、512、1024和2048時(shí)，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率(Accuracy)和損失值(Loss)隨著迭代次數(shù)(Epochs)的變化曲線圖。從圖7中可以看出，當(dāng)幀長(zhǎng)在1024以內(nèi)時(shí)，樣本的幀長(zhǎng)對(duì)模型訓(xùn)練結(jié)果影響較大，幀長(zhǎng)越長(zhǎng)，模型的準(zhǔn)確率越高，收斂速度越快，識(shí)別結(jié)果越穩(wěn)定，相應(yīng)最終損失值越??；而當(dāng)幀長(zhǎng)大于1024時(shí)，其改善效果不再明顯。因此，幀長(zhǎng)設(shè)定為1024。

圖7 樣本幀長(zhǎng)對(duì)MobileNetv2模型識(shí)別結(jié)果的影響Fig.7 Influence of sample frame length on recognition results of MobileNetv2 model

從圖7中還可以看出，當(dāng)?shù)螖?shù)在20以內(nèi)時(shí)，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率曲線和損失值曲線都變化較快；當(dāng)?shù)螖?shù)位于20和50區(qū)間時(shí)，其曲線變化速度明顯放緩；而當(dāng)?shù)螖?shù)大于50時(shí)，曲線變化則基本趨于穩(wěn)定。如圖7中幀長(zhǎng)為1024的情況，當(dāng)?shù)螖?shù)為1～20時(shí)，其訓(xùn)練集準(zhǔn)確率由63%提高到99%，損失值由1.06降為0.03，驗(yàn)證集準(zhǔn)確率由92%提高到99%，損失值由0.23降為0.0004；而當(dāng)?shù)螖?shù)等于100時(shí)，兩類準(zhǔn)確率均達(dá)到100%，損失值則趨近于0。

此外，本文還將MobileNetv2模型的訓(xùn)練結(jié)果與AlexNet、VGG16、GoogleNet與ResNet50等經(jīng)典的圖像識(shí)別CNN模型的訓(xùn)練結(jié)果進(jìn)行了比較。各模型訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率曲線和損失值曲線如圖8所示，經(jīng)100次迭代以后的識(shí)別結(jié)果如表4所示。

圖8 MobileNetv2模型與不同CNN模型的訓(xùn)練結(jié)果對(duì)比Fig.8 Comparison of training results between MobileNetv2 and other CNN models

表4 各模型迭代100次的分類準(zhǔn)確率和損失值Table 4 Classification accuracy and loss of each model after 100 iterations

從圖8和表4中不難看出，MobileNetv2模型與其它4種方法在經(jīng)過100次迭代以后都已經(jīng)收斂，其中從訓(xùn)練集和驗(yàn)證集準(zhǔn)確率來看，MobileNetv2最好，其最終準(zhǔn)確率都達(dá)到了100%，ResNet50和VGG16次之，而GoogleNet和AlexNet相對(duì)較差，尤其是后者驗(yàn)證集準(zhǔn)確率不到99%。從識(shí)別穩(wěn)定性來看，MobileNetv2和ResNet50最好，其識(shí)別準(zhǔn)確率和損失值曲線除了在少數(shù)位置出現(xiàn)波動(dòng)以外，總體非常穩(wěn)定。而其它三者相對(duì)較差，尤其是GoogleNet和AlexNet出現(xiàn)了較大程度的波動(dòng)。因此，可以看出，相較于其它幾種模型，MobileNetv2無論是在識(shí)別準(zhǔn)確率還是在穩(wěn)定性方面的表現(xiàn)都更為優(yōu)異。

為了考察MobileNetv2模型對(duì)計(jì)算設(shè)備存儲(chǔ)的占用情況，本文對(duì)比分析了各模型經(jīng)100次迭代后的總參數(shù)量和分析過程生成的權(quán)重文件大小，如表5所示。結(jié)果表明：MobileNetv2模型的權(quán)重文件和總參數(shù)量都遠(yuǎn)遠(yuǎn)小于其它四類模型的權(quán)重文件和總參數(shù)量，證明了其在移動(dòng)設(shè)備或嵌入式設(shè)備中應(yīng)用的優(yōu)越性。

表5 各模型100次迭代后的總參數(shù)量和權(quán)重文件大小Table 5 Total parameters and weight file size of each model after 100 iterations

4 模型測(cè)試

為了檢驗(yàn)經(jīng)過上述訓(xùn)練之后得到的MobileNetv2模型的有效性及泛化能力，采用一組全新的測(cè)試集對(duì)模型進(jìn)行測(cè)試。測(cè)試集的構(gòu)造方法如2.3節(jié)所示。

本文采用混淆矩陣(Confusion matrix)、精確率(Precision)、召回率(Recall)和特異度(Specificity)四個(gè)指標(biāo)來衡量模型對(duì)測(cè)試樣本的分類準(zhǔn)確程度[27]，分析結(jié)果如圖9和表6所示。

圖9 混淆矩陣Fig.9 Confusion matrix

表6 分類精確率、召回率和特異度Table 6 Precision, recall and specificity

分析發(fā)現(xiàn)，訓(xùn)練得到的MobileNetv2模型對(duì)測(cè)試樣本分類準(zhǔn)確率達(dá)到99.8%，錯(cuò)誤率僅為0.2%。其中，除了標(biāo)簽A、I和N有1個(gè)樣本，C有2個(gè)樣本，E有3個(gè)樣本，J有8個(gè)樣本被錯(cuò)分到其它類別以外，其它標(biāo)簽的50個(gè)測(cè)試樣本全部被正確識(shí)別并分類。通過表6可以看出，盡管標(biāo)簽L對(duì)應(yīng)的50樣本全部被準(zhǔn)確識(shí)別，但由于標(biāo)簽G有2個(gè)樣本被錯(cuò)分為L(zhǎng)，因此，其精確率和特異度分別為0.943和0.996。對(duì)于標(biāo)簽C，盡管只有2個(gè)樣本被錯(cuò)分為I，但由于E有3個(gè)樣本，I有1個(gè)樣本，J有2個(gè)樣本被錯(cuò)分為C，因此，其精確率只有0.873，而召回率和特異度分別為0.96和0.991，以此類推。

上述結(jié)果表明：本文所采用的基于小波時(shí)頻圖的MobileNetv2模型不僅能識(shí)別不同類型的環(huán)境噪聲信號(hào)，還能很好地區(qū)分不同位置、不同數(shù)目和松動(dòng)程度的螺栓松動(dòng)聲音信號(hào)。

5 結(jié)論

針對(duì)目前大型結(jié)構(gòu)螺栓連接狀態(tài)監(jiān)測(cè)的困難，本文采用聲音信號(hào)識(shí)別的思路，提出了基于小波時(shí)頻圖與輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2的螺栓松動(dòng)識(shí)別方法。

(1)該方法通過對(duì)采集到的聲音信號(hào)進(jìn)行預(yù)處理和連續(xù)小波變換得到小波時(shí)頻圖，以小波時(shí)頻圖作為樣本對(duì)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)螺栓松動(dòng)聲音信號(hào)的識(shí)別。

(2)對(duì)一鋼桁架模型的室外試驗(yàn)研究表明，該方法充分發(fā)揮了小波時(shí)頻分析在處理非平穩(wěn)信號(hào)方面的優(yōu)勢(shì)和MobileNetv2強(qiáng)大的圖像分類能力，能實(shí)現(xiàn)對(duì)不同環(huán)境噪聲信號(hào)，不同位置、數(shù)目和松動(dòng)程度的螺栓松動(dòng)聲音信號(hào)的精準(zhǔn)識(shí)別。

(3)該方法不僅識(shí)別準(zhǔn)確率高、穩(wěn)定性好，而且對(duì)計(jì)算和存儲(chǔ)的要求低，便于應(yīng)用于移動(dòng)設(shè)備和嵌入式設(shè)備。

進(jìn)一步的研究工作，將對(duì)具有更多的損傷工況和處在更加復(fù)雜的環(huán)境下的模型進(jìn)行試驗(yàn)，并將考慮對(duì)工作狀態(tài)下的大型鋼桁架結(jié)構(gòu)進(jìn)行實(shí)測(cè)。