余益鴻 周傳德 孟明輝 朱志強(qiáng) 付朝毅 張 鑫

(重慶科技學(xué)院 機(jī)械與動(dòng)力工程學(xué)院，重慶 401331)

施工升降機(jī)作為一種重要的垂直運(yùn)輸工具，憑借著易操作、速度快等優(yōu)點(diǎn)廣泛應(yīng)用于建筑、煤礦井等領(lǐng)域；但在為施工人員提供便利的同時(shí)所產(chǎn)生的一系列安全問(wèn)題也不容忽視，如乘梯人員不安全行為應(yīng)予以重點(diǎn)監(jiān)控。

近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)基于視覺(jué)引導(dǎo)的施工升降機(jī)人員不安全行為的檢測(cè)方法作了較多研究。區(qū)域環(huán)境下的人數(shù)統(tǒng)計(jì)方法主要包括：一是基于靜態(tài)圖片進(jìn)行目標(biāo)檢測(cè)，如文獻(xiàn)[1]中利用類圓檢測(cè)的改進(jìn)Hough變換方法檢測(cè)人員數(shù)量，指出圖像灰度值對(duì)檢測(cè)精度影響較大；文獻(xiàn)[2]中指出Haar特征分類器效果不強(qiáng)，人物遮擋對(duì)檢測(cè)精度影響較大。二是基于視頻序列進(jìn)行圖像跟蹤，如文獻(xiàn)[3]中利用安全帽顏色以及人物幾何特征檢測(cè)人員數(shù)量，指出光照對(duì)識(shí)別精度影響較大。本次研究針對(duì)超載與誤闖等問(wèn)題，采用改進(jìn)的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)，探討基于視覺(jué)的施工升降機(jī)不安全行為識(shí)別方法。首先，通過(guò)數(shù)據(jù)降維和空洞卷積增大感受野，提高目標(biāo)檢測(cè)的準(zhǔn)確率；其次，通過(guò)加深CSP2網(wǎng)絡(luò)層數(shù)，提升網(wǎng)絡(luò)特征提取和特征融合能力；再次，選擇適合本算法的卷積核數(shù)量并加入形變卷積，控制網(wǎng)絡(luò)寬度，進(jìn)行通道維度拼接，從而減少浮點(diǎn)運(yùn)算量。該方法對(duì)小目標(biāo)的檢測(cè)精度較高，能夠?qū)崿F(xiàn)施工升降機(jī)人員數(shù)量檢測(cè)。

1 不安全行為分類

本次研究針對(duì)的是人的不安全行為，主要包括以下3個(gè)方面。

(1)人員超載。施工人員為了提高工作效率，不愿意等到下一批進(jìn)入升降機(jī)內(nèi)，便擠進(jìn)機(jī)籠，而其他已在機(jī)籠的施工人員安全意識(shí)薄弱，甚至還鼓勵(lì)等待的施工人員進(jìn)入。

(2)翻越護(hù)欄。施工人員在翻越護(hù)欄過(guò)程中墜落，卡在機(jī)子與護(hù)欄之間，容易受傷，甚至威脅生命。

(3)非內(nèi)部人員闖入。這類事故主要是由于非內(nèi)部人員闖入而導(dǎo)致人員生命與財(cái)產(chǎn)受到威脅。

2 人員數(shù)量檢測(cè)算法

2.1 YOLOv5算法工作原理

YOLOv5算法是由Ultralytics LLC公司于2020年 5月提出[4]。YOLOv5算法工作流程如圖1所示，包括圖像分割、邊界框預(yù)測(cè)、閾值設(shè)置和非極大值抑制等4個(gè)步驟。首先，將所得圖像上采樣至全卷積神經(jīng)網(wǎng)絡(luò)；然后，進(jìn)行非極大值抑制和邊界框預(yù)測(cè)后輸出。YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)包括輸入端、基準(zhǔn)(Backbone)網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和Head輸出端(Prediction)等4層。首先，對(duì)輸入圖像進(jìn)行圖像縮放、歸一化等預(yù)處理操作；然后，對(duì)圖片進(jìn)行裁剪、拼接、卷積后輸出對(duì)應(yīng)大小的特征映射。Neck網(wǎng)絡(luò)中，輸入圖像首先經(jīng)過(guò)CSP2模塊和CBL模塊，以提升網(wǎng)絡(luò)特征融合能力，從而進(jìn)行圖片縮放。然后，通過(guò)雙線性插值將放大圖像輸入到網(wǎng)絡(luò)中，進(jìn)行張量維度拼接整合。多次循環(huán)上述操作，同時(shí)，在每一次圖像輸入以及下采樣與上采樣之間都需要進(jìn)行張量拼接，以達(dá)到加快計(jì)算速度的效果。最后，通過(guò)輸出端的損失函數(shù)計(jì)算并繪制邊界框，得出檢測(cè)效果圖。

圖1 YOLOv5算法工作流程

2.2 YOLOv5算法的改進(jìn)

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)和物體姿態(tài)估計(jì)等領(lǐng)域取得了顯著成功[5]，但卷積神經(jīng)網(wǎng)絡(luò)局限于大型、已知的轉(zhuǎn)換，對(duì)小目標(biāo)、多目標(biāo)的識(shí)別率較低。本次研究在使用DIOU_NMS篩選預(yù)測(cè)框的基礎(chǔ)上，結(jié)合感受野、網(wǎng)絡(luò)深度和維度，進(jìn)行更精準(zhǔn)、實(shí)時(shí)的人員數(shù)量檢測(cè)。

2.2.1 增大感受野

當(dāng)圖像輸入不同的卷積層時(shí)，其所對(duì)應(yīng)的圖像結(jié)構(gòu)不同。一是在卷積層較淺的情況下，特征圖中每個(gè)像素點(diǎn)只對(duì)應(yīng)原圖像局部信息的一個(gè)特征提取，圖像細(xì)節(jié)豐富，但圖像上下文信息聯(lián)系較少，導(dǎo)致圖像感受野?。欢窃诰矸e層過(guò)深的情況下，所能看到的圖像范圍比原圖像大，但細(xì)節(jié)信息缺失，導(dǎo)致圖像感受野小。特征圖感受野的直觀變化如圖2所示。本次實(shí)驗(yàn)在圖像分類中最后卷積層的感受野大于輸出圖像的前提下，通過(guò)提高網(wǎng)絡(luò)深度來(lái)增大感受野。而網(wǎng)絡(luò)深度過(guò)深會(huì)造成卷積層輸出大量冗余信息，故引入池化層來(lái)減少參數(shù)量，但易出現(xiàn)圖像信息缺失的問(wèn)題。

圖2 特征圖感受野的直觀變化

針對(duì)圖像信息缺失等問(wèn)題，引入空洞卷積來(lái)增大感受野、降低計(jì)算量。

空洞卷積核的計(jì)算公式為：

N=k+(k-1)(d-1)

(1)

式中：N——插入(d-1)個(gè)空格后的卷積核大??；

k——原卷積核大??；

d——膨脹系數(shù)。

空洞卷積后特征圖大小的計(jì)算公式為：

(2)

式中：F——空洞卷積后特征圖大小；

i——空洞卷積核大小；

p——填充的像素；

s——步長(zhǎng)。

由此可知，在其他條件不變的情況下，隨著步長(zhǎng)的增大，空洞卷積后特征圖減小。這說(shuō)明空洞卷積雖然能夠增大感受野，但不會(huì)增加訓(xùn)練參數(shù)量。

2.2.2 加深CSP2網(wǎng)絡(luò)層數(shù)

CSP2結(jié)構(gòu)是在CSPNet的基礎(chǔ)上發(fā)展而來(lái)的。隨著卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更深更寬，目標(biāo)檢測(cè)的計(jì)算速度逐漸降低，但實(shí)際應(yīng)用中對(duì)輕量級(jí)計(jì)算的要求較高。為此，將殘差模塊與CSPNet網(wǎng)絡(luò)融合，使其能夠部署在CPU和GPU上，且不影響性能?；诖耍敬窝芯客ㄟ^(guò)加深CSP2網(wǎng)絡(luò)層數(shù)來(lái)提升網(wǎng)絡(luò)學(xué)習(xí)能力，加快網(wǎng)絡(luò)計(jì)算速度，降低內(nèi)存成本。加深CSP2網(wǎng)絡(luò)層數(shù)的檢測(cè)效果如圖3所示。

圖3 加深CSP2網(wǎng)絡(luò)層數(shù)的檢測(cè)效果

2.2.3 形變卷積

在國(guó)內(nèi)外相關(guān)研究的基礎(chǔ)上[6-8]，加入可形變卷積層，改變Anchor尺寸，將Anchor融合到特征圖的網(wǎng)格中，根據(jù)預(yù)測(cè)的偏移量調(diào)整錨框位置，解決變換后特征不匹配等問(wèn)題。改進(jìn)算法的整體框架如圖4所示。

圖4 改進(jìn)算法的整體框架

圖片輸入后，首先通過(guò)Backbone層和FPN層，然后在每種分辨率特征圖后面加入一個(gè)可形變卷積，融合不同尺度特征，回歸目標(biāo)坐標(biāo)，接著通過(guò)全連接層得到預(yù)測(cè)框大小，最后得出輸出框圖。

3 非內(nèi)部人員識(shí)別算法

3.1 基于Retinex的光照預(yù)處理方法

傳統(tǒng)的局部二值化模式(LBP)算法未考慮光照不均勻?qū)μ崛D像特征點(diǎn)的影響[9]，容易在人臉識(shí)別過(guò)程中造成誤檢。為了降低光照變化對(duì)識(shí)別效果的影響，采用Retinex理論對(duì)低照度圖像進(jìn)行增強(qiáng)。(1)針對(duì)RGB三分量對(duì)圖像取對(duì)數(shù)，將照射光分量與反射光分量分離；(2)用高斯模板對(duì)原圖像進(jìn)行卷積處理，得到低通濾波后的圖像；(3)用原圖像減去低通濾波后的圖像，得到高頻增強(qiáng)的圖像；(4)對(duì)高頻增強(qiáng)的圖像取反對(duì)數(shù)，得到增強(qiáng)后的圖像；(5)對(duì)增強(qiáng)后的圖像作對(duì)比度增強(qiáng)處理；(6)對(duì)增強(qiáng)后的圖像進(jìn)行R、G、B分量融合?；赗etinex的光照預(yù)處理前后對(duì)比如圖5所示。

圖5 基于Retinex的光照預(yù)處理前后對(duì)比

3.2 云端數(shù)據(jù)庫(kù)

非內(nèi)部人員識(shí)別算法大多基于傳統(tǒng)數(shù)據(jù)庫(kù)，可適應(yīng)性與可移植性不強(qiáng)；而云端數(shù)據(jù)庫(kù)具有成本低、運(yùn)維便捷和數(shù)據(jù)存儲(chǔ)安全等優(yōu)勢(shì)。首先，創(chuàng)建云端的SQL數(shù)據(jù)庫(kù)，為人員信息存儲(chǔ)提供自動(dòng)化管理平臺(tái)；然后，基于OpenCV采集內(nèi)部人員人臉信息并繪制矩形框；最后，通過(guò)前端攝像頭獲取人臉圖像，進(jìn)行人臉圖像采集、檢測(cè)、預(yù)處理、特征提取、特征匹配和識(shí)別等。非內(nèi)部人員識(shí)別流程如圖6所示。

圖6 非內(nèi)部人員識(shí)別流程

4 軟件設(shè)計(jì)

4.1 流程設(shè)計(jì)

軟件設(shè)計(jì)流程如圖7所示。通過(guò)軟件獲取人員數(shù)量值、人員識(shí)別返回的二進(jìn)制值，以及稱重傳感器返回的電信號(hào)值，若二進(jìn)制值中有0存在，則警報(bào)提示。

圖7 軟件設(shè)計(jì)流程

4.2 功能分析

軟件應(yīng)用界面如圖8所示，軟件具備人員統(tǒng)計(jì)并報(bào)警、非內(nèi)部人員闖入監(jiān)測(cè)并報(bào)警等功能。本次研究使用2個(gè)相機(jī)。相機(jī)1安裝在與顯示屏相鄰的前部右側(cè)(朝門(mén)視角)，每隔1 s抓取1幀圖片并進(jìn)行預(yù)處理操作，特征提取、特征匹配和識(shí)別其是否為內(nèi)部人員。若為非內(nèi)部人員(如乘梯人員倒著走躲避識(shí)別、沒(méi)有本電梯使用權(quán)限等),則界面顯示紅色進(jìn)度條。相機(jī)2嵌入在升降機(jī)頂部中間，對(duì)準(zhǔn)進(jìn)出人員頭部(頭部視角),每隔1 s傳回1幀圖片進(jìn)行人員數(shù)量統(tǒng)計(jì)。若人員數(shù)量超過(guò)8人，則界面顯示紅色進(jìn)度條。

圖8 軟件應(yīng)用界面

5 實(shí)驗(yàn)與分析

5.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本算法的有效性，從網(wǎng)上收集了820張施工人員圖片制作訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。經(jīng)過(guò)人工篩選后得到716張有效圖片，再對(duì)數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)和翻轉(zhuǎn)擴(kuò)充得到5 000張圖片，其中 4 500張為訓(xùn)練集，500張為測(cè)試集。

5.2 實(shí)驗(yàn)結(jié)果分析

當(dāng)檢測(cè)區(qū)域只有半邊人臉、人臉額頭或者直接從頭頂檢測(cè)時(shí)，測(cè)試集中的數(shù)據(jù)正確率為100%。考慮光照對(duì)檢測(cè)效果的影響，利用實(shí)驗(yàn)室現(xiàn)有的可調(diào)直流穩(wěn)壓電源，隨機(jī)選取電壓為13、15、17、19、21、23 V等6種不同光照強(qiáng)度的環(huán)形光源進(jìn)行數(shù)據(jù)采集分析。不同檢測(cè)區(qū)域和光照下的識(shí)別效果如圖9 所示。

圖9 不同檢測(cè)區(qū)域和光照下的識(shí)別效果

在6種不同光照強(qiáng)度下，分別采用YOLOv3、YOLOv4、YOLOv5和改進(jìn)YOLOv5算法進(jìn)行識(shí)別精度測(cè)試(見(jiàn)表1)。由表1可知，識(shí)別精度先隨著光照強(qiáng)度的增加而增加，當(dāng)光照強(qiáng)度達(dá)到19 V時(shí)，識(shí)別效果最好；改進(jìn)YOLOv5算法的識(shí)別效果比較穩(wěn)定，光照變化對(duì)其識(shí)別精度的影響較小。

表1 不同算法在不同光照強(qiáng)度下的識(shí)別精度 %

不同算法在不同光照強(qiáng)度下的識(shí)別精度如圖10所示。從圖10可知，YOLOv5和改進(jìn)YOLOv5 算法在人員數(shù)量識(shí)別上的魯棒性較強(qiáng)；相較于YOLOv3、YOLOv4、YOLOv5算法，改進(jìn)YOLOv5算法的準(zhǔn)確率更高。

圖10 不同算法在不同光照強(qiáng)度下的識(shí)別精度

不同場(chǎng)景下的人員檢測(cè)算法統(tǒng)計(jì)如表2所示，由表2可知，基于視覺(jué)的施工升降機(jī)人員不安全行為識(shí)別方法的測(cè)試效果很好，準(zhǔn)確率高，魯棒性強(qiáng)。

表2 升降機(jī)人員不安全行為統(tǒng)計(jì)數(shù)據(jù)

6 結(jié) 語(yǔ)

本次研究提出了基于視覺(jué)的施工升降機(jī)人員不安全行為識(shí)別方法，并通過(guò)實(shí)驗(yàn)驗(yàn)證算法的有效性。改進(jìn)YOLOv5算法在施工升降機(jī)中的平均檢測(cè)精度為86%，分別比YOLOv3、YOLOv4和YOLOv5算法高35%、11%和6%，且超員檢測(cè)正確率為100%、非內(nèi)部人員檢測(cè)正確率為95%。基于改進(jìn)YOLOv5的升降機(jī)人員不安全行為識(shí)別方法能夠滿足不安全行為檢測(cè)的需求，實(shí)現(xiàn)了超員與非內(nèi)部人員安全行為雙重檢測(cè)，保障了乘梯人員的生命安全。