陳國棟，林愉翔*，趙志峰，黃明煒，林進(jìn)潯

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108；2.福建數(shù)博訊信息科技有限公司，福建 福州 350002)

施工升降機(jī)是建筑工地領(lǐng)域中普遍使用的載人載物施工機(jī)械，常規(guī)的施工升降機(jī)由箱體、驅(qū)動(dòng)器、電氣系統(tǒng)、標(biāo)準(zhǔn)節(jié)、附墻裝置、底盤、圍欄等幾部分組成，基本結(jié)構(gòu)如圖1所示。

圖1 施工升降機(jī)Fig.1 Construction lift

隨著建筑行業(yè)的發(fā)展，施工升降機(jī)的數(shù)量和使用頻率不斷增加，各類建筑工程在使用施工升降機(jī)時(shí)經(jīng)常會(huì)發(fā)生一些事故，這些事故造成了嚴(yán)重的人員傷亡以及巨大的經(jīng)濟(jì)損失。在這些安全事故中，因升降機(jī)標(biāo)準(zhǔn)節(jié)螺栓故障引起的事故占據(jù)一定比例，其中主要故障類型包括螺栓的松動(dòng)、缺失等。

在施工升降機(jī)定期檢查規(guī)定中，升降機(jī)標(biāo)準(zhǔn)節(jié)連接螺栓的檢查為一周一檢。傳統(tǒng)的檢查方法是檢查人員爬上導(dǎo)軌架進(jìn)行目視檢查，由于螺栓數(shù)量較多且體積較小，長時(shí)間目視檢查會(huì)造成視覺疲勞，容易出現(xiàn)錯(cuò)檢、漏檢的情況。同時(shí)，長時(shí)間的高空作業(yè)具有一定的危險(xiǎn)性，在一定程度上威脅到檢查人員的生命安全。

近年來，基于深度學(xué)習(xí)的檢測方法由于能夠利用計(jì)算機(jī)代替人眼進(jìn)行檢測，且檢測精度較高，因此逐漸出現(xiàn)在人們的視線之中，尤其是YOLO v3算法，對小目標(biāo)物體的檢測效果良好。針對上文中提到的施工升降機(jī)螺栓檢測的問題，現(xiàn)提出一種基于改進(jìn)YOLO v3算法的檢測方法，利用無人機(jī)搭載攝像頭來實(shí)時(shí)精準(zhǔn)地檢測施工升降機(jī)螺栓的狀態(tài)，保證施工升降機(jī)安全運(yùn)作，進(jìn)而保證檢查人員和施工人員的生命安全。

1 目標(biāo)檢測常用算法介紹

目前，幾乎所有最先進(jìn)的目標(biāo)檢測算法都是基于深度學(xué)習(xí)方法，這些算法主要分為兩類：兩階段(two stage)的目標(biāo)檢測算法以及單階段(one stage)的目標(biāo)檢測算法。

兩階段的算法也稱為基于候選區(qū)域(region proposal)[2]的算法，算法大致分為兩步：首先，對輸入的圖片進(jìn)行處理，找到可能包含目標(biāo)物體的候選區(qū)域；然后，使用分類器在這些候選區(qū)域上對目標(biāo)物體進(jìn)行分類。兩階段的目標(biāo)檢測算法源于2014年Girshick等提出的R-CNN(regin convolutional neural network，區(qū)域卷積神經(jīng)網(wǎng)絡(luò))[3]，對目標(biāo)檢測效果良好，但由于算法需要對每張輸入的圖片檢測候選區(qū)域，還要再用CNN分類模型在候選區(qū)域中進(jìn)行分類，導(dǎo)致運(yùn)行效率偏低。后來研究人員在R-CNN的基礎(chǔ)上進(jìn)行改進(jìn)，設(shè)計(jì)出Fast R-CNN[4]和Faster R-CNN[5]，檢測精度和速度都得到一定的提升。

而單階段的目標(biāo)檢測算法不需要產(chǎn)生候選區(qū)域，可以直接從圖片中獲得目標(biāo)檢測結(jié)果。最早的單階段目標(biāo)檢測算法從Joseph Redmon等提出的YOLO[6]開始，YOLO只需要處理一次圖片就能夠同時(shí)獲得目標(biāo)物體的位置和類別，相比于兩階段目標(biāo)檢測算法，YOLO算法速度優(yōu)勢明顯，且檢測精度也相對較高。在YOLO基礎(chǔ)上，其作者又提出了YOLO 9000[7]和YOLO v3[8]。尤其是YOLO v3算法，大大提升了對小目標(biāo)物體的檢測精度。而后又有研究人員對YOLO v3進(jìn)行改進(jìn)，相繼出現(xiàn)YOLO v4和YOLO v5等版本。同時(shí)，2016年提出的SSD(single shot multibox detector，單步多框檢測器)算法[9]將YOLO的回歸思想和Faster R-CNN的anchor box機(jī)制結(jié)合在一起。既保證了YOLO的快速運(yùn)行效率，也保證了與Faster R-CNN相近的邊界框定位精度，是個(gè)相當(dāng)不錯(cuò)的目標(biāo)檢測算法。基于SSD的思想，后面又出現(xiàn)了R-SSD(rainbow-SSD，彩虹單步多框檢測器)、D-SSD(deconvolution-SSD，反卷積單步多框檢測器)、DSOD(deeply supervised object detector，深度監(jiān)督對象檢測器)、FSSD(feature fusion single shot multibox detector，特征整合單步多框檢測器)等更先進(jìn)的目標(biāo)檢測算法模型。

文中對施工升降機(jī)標(biāo)準(zhǔn)節(jié)螺栓狀態(tài)進(jìn)行檢測，根據(jù)檢測目標(biāo)體積較小且需要實(shí)時(shí)檢測等特點(diǎn)，選擇對小目標(biāo)檢測更加敏感且檢測精度較高的YOLO v3目標(biāo)檢測算法，并在原算法的基礎(chǔ)上進(jìn)行改進(jìn)，提高檢測精度和檢測速度。

2 YOLO v3目標(biāo)檢測算法

2.1 YOLO v3算法介紹

YOLO v3不同于其前一個(gè)版本YOLO v2，YOLO v2使用Darknet-19作為骨干網(wǎng)絡(luò)，而YOLO v3使用Darknet-53作為骨干網(wǎng)絡(luò)，Darknet-53比Darknet-19擁有更深的網(wǎng)絡(luò)層數(shù)，能夠更好地提取到圖像特征。Darknet-53是全卷積網(wǎng)絡(luò)，包含52個(gè)卷積層和1個(gè)分類全連接層，并且引入了殘差結(jié)構(gòu)塊，YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 YOLO v3 network structure

YOLO v3大致運(yùn)行過程如下：

1)輸入一張416×416×3的圖片，Darknet-53骨干特征提取網(wǎng)絡(luò)開始提取特征。

2)進(jìn)行下采樣，高和寬不斷被壓縮，通道數(shù)不斷增加，得到一系列特征層，用來表示輸入進(jìn)來的圖片的特征。

3)Darknet-53特征提取網(wǎng)絡(luò)輸出3個(gè)尺度大小分別為13×13、26×26、52×52的特征圖。

4)將3個(gè)特征圖通過特征金字塔網(wǎng)絡(luò)FPN(feature pyramid network)進(jìn)行融合。

5)將融合后的特征輸入全連接層進(jìn)行類別預(yù)測和邊界框回歸預(yù)測。

2.2 YOLO v3算法改進(jìn)

2.2.1聚類算法改進(jìn)

K-means算法是基于距離的聚類算法，采用距離作為相似性的評價(jià)指標(biāo)，即認(rèn)為兩個(gè)對象的距離越近，其相似度就越大[10]。其大致思想如下：對于給定的樣本集，按照樣本之間的距離大小，將樣本集劃分為K個(gè)簇。同一個(gè)簇內(nèi)的點(diǎn)要盡量集中，不同簇的位置盡量分散。如果用數(shù)據(jù)表達(dá)式表示，假設(shè)簇劃分為(C1,C2,…，Ck)，則我們的目標(biāo)是最小化平方誤差E：

其中，μi是簇Ci的均值向量，有時(shí)也稱為質(zhì)心，表達(dá)式為

由于質(zhì)心的位置選擇對最后的聚類結(jié)果和運(yùn)行時(shí)間有很大的影響，因此需要選擇合適的k個(gè)質(zhì)心，如果只是完全隨機(jī)的選擇，有可能導(dǎo)致算法收斂很慢，而K-means++算法可以對K-means隨機(jī)初始化質(zhì)心的方法進(jìn)行優(yōu)化[11]。

K-means++對于初始化質(zhì)心的優(yōu)化方法如下：

1)從輸入的數(shù)據(jù)點(diǎn)集合中隨機(jī)地選擇1個(gè)點(diǎn)作為第1個(gè)聚類中心μi；

2)對于數(shù)據(jù)集中的每1個(gè)點(diǎn)xi，計(jì)算它與已選擇的聚類中心中最近聚類中心的距離D(xi)=argmin‖xi-μi‖2；

3)選擇一個(gè)D(x)較大的點(diǎn)作為新的聚類中心；

4)重復(fù)步驟2和3，直到選擇出k個(gè)聚類質(zhì)心；

5)利用這k個(gè)質(zhì)心作為初始化質(zhì)心去運(yùn)行K-means算法。

YOLO v3使用K-means聚類算法進(jìn)行聚類，YOLO v3通過使用先驗(yàn)框 (anchor boxes)預(yù)測待檢測物體的邊界框，尺度大小為13×13、26×26、52×52的3個(gè)特征圖分別使用3個(gè)先驗(yàn)框，共9個(gè)先驗(yàn)框，對標(biāo)注邊界框尺寸進(jìn)行K-means聚類，得到一組適用于VOC數(shù)據(jù)集尺寸的固定的初始候選框，尺寸大小分別為(10，13)、(16，30)、(33，23)、(30，61)、(62，45)、(59，119)、(116，90)、(156，198)、(373，326)。這些候選框大多用來檢測人、動(dòng)物、車輛等，不太適用于本文中尺度較小的螺栓數(shù)據(jù)集。因此，為提高檢測精確度，本文中使用K-means++聚類算法來確定適合施工升降機(jī)螺栓數(shù)據(jù)集的候選框。為了得到更適合文中施工升降機(jī)螺栓狀態(tài)檢測任務(wù)的候選框方案，對聚類中心K=6和K=9進(jìn)行對比試驗(yàn)，得到表1。

表1 標(biāo)注框聚類中心長寬比Tab.1 Length to width ratio of cluster center of annotation box

同時(shí)，分別對不同K值測試標(biāo)定框和候選框的平均交并比，得到K-means++聚類過程中簇的中心個(gè)數(shù)K和平均交并比的關(guān)系，如圖3所示。

圖3 K-means++聚類結(jié)果圖Fig.3 K-means++ clustering result diagram

由圖3可以看出，當(dāng)K=6時(shí)，平均交并比的數(shù)值較高且曲線逐漸收斂。K=6時(shí)，聚類得到的先驗(yàn)框尺寸分別為(12，14)、(18，23)、(26，50)、(40，34)、(48，61)、(67，118)。

2.2.2多尺度融合改進(jìn)

原YOLO v3模型中的特征提取網(wǎng)絡(luò)Darknet-53有53層，主要用來提取目標(biāo)特征。Darknet-53先使用3×3的卷積核來增加特征模型的通道數(shù)，然后再用1×1的卷積核來減少特征模型的通道數(shù)。最后，得到了3個(gè)檢測尺度分別為13×13、26×26和52 ×52的特征圖，再通過對這3種尺度的特征圖進(jìn)行融合，最終使模型能夠檢測不同大小的目標(biāo)。13×13的特征圖適合檢測大目標(biāo)物體、26×26的特征圖適合檢測中等目標(biāo)物體、52×52的特征圖適合檢測小目標(biāo)物體。在本文中，施工升降機(jī)標(biāo)準(zhǔn)節(jié)螺栓為小尺度目標(biāo)，因此，可以將檢測大目標(biāo)物體的13×13特征圖去除，即原來的3個(gè)特征尺度減少為2個(gè)特征尺度，分別為：26×26、52×52，每個(gè)特征尺度有3個(gè)候選框，將上文中K-means++聚類算法中得到的(12，14)、(18，23)、(26，50)3個(gè)候選框分配給52×52網(wǎng)格的特征圖，將(40，34)、(48，61)、(67，118)3個(gè)候選框分配給26×26網(wǎng)格的特征圖。經(jīng)過實(shí)驗(yàn)，這種改進(jìn)辦法在保持對小尺度目標(biāo)檢測精確度良好的情況下可以降低網(wǎng)絡(luò)復(fù)雜度，能夠提高檢測速度，更加符合工地施工現(xiàn)場的實(shí)時(shí)檢測需求。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Improved network structure

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

施工升降機(jī)標(biāo)準(zhǔn)節(jié)螺栓狀態(tài)類別可分為5類：正常(標(biāo)簽為：Normal)、松動(dòng)(標(biāo)簽為：Loose)、螺栓長度不足(標(biāo)簽為：BoltInsufficientLength)、螺母缺失(標(biāo)簽為：NutMissing)、整體缺失(標(biāo)簽為：OverallMissing)。本次實(shí)驗(yàn)收集有關(guān)施工升降機(jī)螺栓的照片共2 816張，其中標(biāo)簽為Normal的有864張，標(biāo)簽為Loose的有488張，標(biāo)簽為BoltInsufficientLength的有640張，標(biāo)簽為NutMissing的有520張，標(biāo)簽為OverallMissing的有304張，部分待訓(xùn)練圖片如圖5所示。

(a)正常 (b)松動(dòng) (c)螺栓長度不足 (d)螺母缺失 (e)整體缺失圖5 部分待訓(xùn)練圖片F(xiàn)ig.5 Part of the pictures to be trained

3.2 實(shí)驗(yàn)環(huán)境配置

實(shí)驗(yàn)環(huán)境配置如下：操作系統(tǒng)為Ubuntu20.04，中央處理器(CPU)為AMD Ryzen 5 5600X 6-Core，圖形處理器(GPU)為NVIDIA Geforce RTX 3080(10 GB)，系統(tǒng)內(nèi)存為32 GB，算法框架使用Pytorch 1.7.1，編程語言使用Python 3.7.11，CUDA為11.4，cuDNN為11.0(v8.0.4)。

3.3 參數(shù)設(shè)置

模型訓(xùn)練采用端到端訓(xùn)練方式，迭代次數(shù)設(shè)置為10萬次，在前7.5萬次迭代中，初試學(xué)習(xí)率設(shè)為0.000 1;后2.5萬次迭代中，將學(xué)習(xí)率設(shè)為0.000 01。衰減系數(shù)設(shè)置為0.000 5，批大小設(shè)置為64。

3.4 模型評價(jià)指標(biāo)

選擇精確率P(precision)、召回率R(recall)和Fa度量(F-measure)等多個(gè)指標(biāo)對模型進(jìn)行評價(jià)：

其中：Tp(true precision)為正確檢測出螺栓狀態(tài)的樣本數(shù)量，即正檢數(shù)；Fp(false precision)為錯(cuò)誤檢測出螺栓狀態(tài)的樣本數(shù)量，即誤檢數(shù)；Fn(false negative)為未檢測出螺栓狀態(tài)的樣本數(shù)量，即漏檢數(shù)。在本文中，F(xiàn)a度量中的a取值為1，誤檢率為1-P，漏檢率為1-R，mAP(mean average precision)為平均精度均值。

此外，還選擇幀率FPS(frames per second)作為評判各個(gè)算法檢測速度的指標(biāo)，只有當(dāng)FPS大于30時(shí)，才達(dá)到實(shí)時(shí)檢測的標(biāo)準(zhǔn)。

3.5 結(jié)果分析

3.5.1識別效果分析

采用改進(jìn)的YOLO v3算法檢測施工升降機(jī)螺栓的狀態(tài)，并分別與原YOLO v3算法、SSD算法以及Faster R-CNN算法進(jìn)行對比，部分檢測效果對比圖如圖6所示。

(a)SSD算法 (b)Faster R-CNN算法 (c)原YOLO v3算法 (d)改進(jìn)YOLO v3算法圖6 部分檢測效果對比圖Fig.6 Comparison of partial detection effects

由圖6可以看出，SSD算法對松動(dòng)的螺栓存在漏檢的情況，F(xiàn)aster R-CNN算法和原YOLO v3算法檢測效果良好，改進(jìn)的YOLO v3相比于原YOLO v3的置信度有了明顯的提高。具體實(shí)驗(yàn)AP(average precision，平均精度)對比如表2所示。

表2 實(shí)驗(yàn)AP對比Tab.2 AP comparison %

由表中數(shù)據(jù)可以看出，本文改進(jìn)的YOLO v3對各種狀態(tài)檢測的AP都比原YOLO v3算法的AP有所提高，標(biāo)簽為Normal的螺栓AP提升了4.26%，標(biāo)簽為Loose的螺栓AP提升了3.89%，標(biāo)簽為BoltInsufficientLength的螺栓AP提升了5.02%，標(biāo)簽為NutMissing的螺栓AP提升了5.18%，標(biāo)簽為OverallMissing的螺栓AP提升了4.35%，整體mAP由原來的81.40%提升了4.54%，達(dá)到85.94%。同時(shí)，本文改進(jìn)的YOLO v3算法的mAP相比于Faster R-CNN和SSD算法的mAP均有所提升。

盡管每種狀態(tài)檢測精度都有所提高，但是對于螺栓松動(dòng)的識別效果較其他狀態(tài)偏低，這主要有兩方面的原因：

1)利用無人機(jī)進(jìn)行拍攝時(shí)，拍攝角度有時(shí)會(huì)受到限制。

2)螺栓的螺紋分辨率較低，進(jìn)行卷積壓縮之后，會(huì)出現(xiàn)特征丟失的情況。

3.5.2識別速度分析

文中利用攝像頭進(jìn)行實(shí)時(shí)檢測，將Faster R-CNN、SSD、YOLO v3以及改進(jìn)的YOLO v3分別進(jìn)行測試，實(shí)驗(yàn)結(jié)果如下：Faster R-CNN檢測速度為8幀/s，SSD檢測速度為30幀/s，YOLO v3檢測速度為34幀/s，本文改進(jìn)的YOLO v3檢測速度為40幀/s。

Faster R-CNN雖在精度上略高于SSD算法和原YOLO v3算法，但這是以檢測時(shí)間為代價(jià)，不能滿足本文實(shí)時(shí)檢測的要求。SSD的FPS雖然也達(dá)到30幀/s，但精確度不如更適合檢測小尺度目標(biāo)的YOLO v3算法。在本文中，改進(jìn)的YOLO v3算法將3個(gè)檢測尺度改為更適用于檢測螺栓的2個(gè)檢測尺度，大大輕量化了網(wǎng)絡(luò)結(jié)構(gòu)，使檢測速度得到一定的提升，原YOLO v3算法在進(jìn)行實(shí)時(shí)檢測時(shí)，F(xiàn)PS為34幀/s，滿足實(shí)時(shí)檢測(FPS高于30幀/s)的要求。改進(jìn)的YOLO v3算法的FPS達(dá)到40幀/s，較原算法提升6幀/s。

根據(jù)mAP和FPS綜合對比可見，本文改進(jìn)的 YOLO v3的算法能夠較好地完成對施工升降機(jī)螺栓各種狀態(tài)的檢測。

4 結(jié)論

將YOLO v3算法應(yīng)用于建筑領(lǐng)域中的施工升降機(jī)螺栓狀態(tài)的檢測，并改進(jìn)YOLO v3算法，利用無人機(jī)搭載攝像頭，能夠?qū)崟r(shí)并準(zhǔn)確地檢測出施工升降機(jī)螺栓狀態(tài)是否異常，從而保證施工升降機(jī)的安全運(yùn)作。但是，由于施工升降機(jī)螺栓狀態(tài)異常的數(shù)據(jù)集稀缺，本文算法在投入實(shí)際運(yùn)用之前還需經(jīng)過更多的數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證。同時(shí)，如何進(jìn)一步改進(jìn)算法，提高施工升降機(jī)螺栓狀態(tài)檢測的準(zhǔn)確率將成為未來研究的一個(gè)重點(diǎn)。