張學(xué)鋒， 王子琦， 湯亞玲

(安徽工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 安徽 馬鞍山 243000)

0 引 言

在化工廠或者建筑工地中往往有著種種令人難以防范的危險(xiǎn)，所以工廠一般會(huì)制定嚴(yán)格的作業(yè)操作規(guī)范來對(duì)工人進(jìn)行安全培訓(xùn)，其中最基本的就是進(jìn)入工地戴好安全帽。但工人卻往往會(huì)忽視掉這些危險(xiǎn)，操作不規(guī)范，忘戴安全帽，這些都帶來了很大的安全隱患。傳統(tǒng)的方法是通過人工監(jiān)控的方式對(duì)工人發(fā)出告警，但是這種方法難以起到作用，而深度學(xué)習(xí)目標(biāo)檢測(cè)由于其直觀，檢測(cè)速度快被越來越多的應(yīng)用到安全帽檢測(cè)中。雙步目標(biāo)檢測(cè)算法如R-CNN[1]，F(xiàn)ast R-CNN[2]，F(xiàn)aster R-CNN[3]等先采用Selective Search[4]，RPN(Region Proposal Network)等方法找出固定尺寸的矩形框(Anchor)，再利用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)目標(biāo)位置和類別進(jìn)行識(shí)別，準(zhǔn)確率雖然理想，但是檢測(cè)時(shí)間長，難以部署在工程上。而單步目標(biāo)檢測(cè)算法，如YOLO[5],YOLOv2[6],YOLOv3[7],SSD[8]等算法都是通過網(wǎng)絡(luò)直接進(jìn)行回歸產(chǎn)生目標(biāo)的類別和位置信息，單步算法相比雙步算法省略了一步，檢測(cè)速度快，準(zhǔn)確度相比雙步目標(biāo)檢測(cè)算法要差一些，但是實(shí)現(xiàn)了端到端的目標(biāo)檢測(cè)，具有很高的實(shí)用價(jià)值。

利用目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行安全帽檢測(cè)研究已經(jīng)成為熱點(diǎn)，方明等[9]在YOLOv2上引入密集連接網(wǎng)絡(luò)[10]和輕量化網(wǎng)絡(luò)結(jié)構(gòu)，減少了參數(shù)和計(jì)算量，易于部署，但是當(dāng)背景顏色與安全帽顏色相近時(shí)，會(huì)出現(xiàn)漏檢情況，徐守坤等[11]在Faster R-CNN上運(yùn)用多尺度訓(xùn)練和增加錨點(diǎn)數(shù)量的方式來實(shí)現(xiàn)對(duì)安全帽小目標(biāo)檢測(cè)的優(yōu)化，但該方法所需時(shí)間長，難以部署在實(shí)際.王兵等[12]使用GIOU[13]計(jì)算方法，與YOLOv3的目標(biāo)函數(shù)相結(jié)合，解決了評(píng)價(jià)指標(biāo)與目標(biāo)函數(shù)不一致的問題，提升了安全帽佩戴檢測(cè)的準(zhǔn)確率，但當(dāng)目標(biāo)出現(xiàn)一定的形狀變化時(shí)，難以識(shí)別，適應(yīng)性不強(qiáng)。

為了實(shí)現(xiàn)對(duì)工人安全帽佩戴情況的準(zhǔn)確以及快速地檢測(cè)，選擇了在檢測(cè)速度和準(zhǔn)確率都有不錯(cuò)效果的YOLOv3算法作為基礎(chǔ)網(wǎng)絡(luò)，將自制的HELMET數(shù)據(jù)集中的安全帽和人作為訓(xùn)練和檢測(cè)的目標(biāo)，針對(duì)YOLOv3網(wǎng)絡(luò)安全帽檢測(cè)中人員姿態(tài)變化難以識(shí)別，以及人頭等小目標(biāo)檢測(cè)能力不足的問題，對(duì)其結(jié)構(gòu)進(jìn)行改進(jìn)。改進(jìn)后的方法可以在提升圖像信息關(guān)注度的同時(shí)對(duì)人員和安全帽形狀變化檢測(cè)有更好的準(zhǔn)確度。將融合改進(jìn)后的模型(YOLO-CDF)進(jìn)行訓(xùn)練與測(cè)試，并與YOLOv3，SSD300，以及Fast R-CNN在同一環(huán)境下進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明YOLO-CDF對(duì)安全帽和人的檢測(cè)精度有明顯的提升。

1 基礎(chǔ)網(wǎng)絡(luò)YOLOv3

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3的網(wǎng)絡(luò)如圖1所示，其基本組成單元DBL是由卷積層(Conv)、批標(biāo)準(zhǔn)化層(BN)和激活層(ReLU)組成(圖2)，2個(gè)DBL加上殘差操作形成殘差單元(ResNet unit) (圖3)，利用了ResNet[14]的殘差思想，增大了網(wǎng)絡(luò)的深度，有利于解決深層次的網(wǎng)絡(luò)梯度消失問題。再由殘差單元和降采樣操作形成YOLOv3的骨干網(wǎng)絡(luò)即DarkNet-53網(wǎng)絡(luò)(圖4), 不再用池化來減小圖像尺寸來增大感受野，因?yàn)檫@樣會(huì)使得圖像的一部分信息損失，而是采用步長為2的卷積來代替池化，可以提取更高級(jí)特征。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

圖4 DarkNet-53網(wǎng)絡(luò)

1.2 特征金字塔多尺度融合

CNN(Convolutional Neural Networks)網(wǎng)絡(luò)對(duì)于尺度變化的表現(xiàn)不敏感表現(xiàn)為當(dāng)網(wǎng)絡(luò)越深，特征圖的每個(gè)單元格的感受野就越大，雖然語義信息更強(qiáng)，但是分辨率下降，位置信息模糊，對(duì)小目標(biāo)的檢測(cè)產(chǎn)生影響。特征金字塔網(wǎng)絡(luò)[15]里提到在網(wǎng)絡(luò)較深處得到比較高級(jí)抽象的特征，不斷進(jìn)行上采樣與淺層特征融合，這樣融合后的特征圖再用來預(yù)測(cè)不同大小規(guī)模的目標(biāo)就會(huì)更準(zhǔn)確。YOLOv3借鑒這一思想，共進(jìn)行了5次降采樣，并在最后3次降采樣進(jìn)行目標(biāo)預(yù)測(cè)，輸出3個(gè)尺寸的特征圖，分別是13×13，26×26，52×52，尺寸越小，則對(duì)應(yīng)的感受野越大，52×52的特征圖，感受野最小，可以獲得更多的細(xì)節(jié)，適用于檢測(cè)小目標(biāo)；26×26的特征圖，則是用于檢測(cè)中等大小的目標(biāo)；13×13的特征圖尺寸最小，感受野最大，將圖中的全局信息聚合在一起，適用于檢測(cè)大目標(biāo)。

1.3 邊界框預(yù)測(cè)

YOLOv3將圖片劃分成N×N個(gè)網(wǎng)格，在每個(gè)單元格上進(jìn)行預(yù)測(cè)目標(biāo)框的中心點(diǎn)坐標(biāo)，長寬以及類別，采用了K均值聚類算法，3個(gè)不同尺寸特征圖的網(wǎng)格分別設(shè)置3個(gè)先驗(yàn)框，用K-means聚類出9種邊界框大小。YOLOv3輸出預(yù)測(cè)框相對(duì)值的相關(guān)信息，需要結(jié)合偏移量計(jì)算，計(jì)算公式如式(1) —式(4)：

bx=σ(tx)+cx

(1)

by=σ(ty)+cy

(2)

bw=pw×etw

(3)

bh=ph×eth

(4)

其中σ(·)為sigmoid激活函數(shù)，(bx,by,bw,bh)為預(yù)測(cè)框(boundingbox)的中心點(diǎn)坐標(biāo)和長寬，(txtx，ty，tw，th)為經(jīng)過網(wǎng)絡(luò)學(xué)習(xí)相對(duì)先驗(yàn)框(anchor)的偏移量，cx，cy為單元格的左上點(diǎn)坐標(biāo)，pw，ph為先驗(yàn)框相對(duì)特征圖的寬和高。

2 YOLOv3-CDF框架

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3-CDF的整體框架如圖5所示，其中Deform conv表示可變卷積模塊，Spatial Attention表示空間注意力模塊，Channel Attention表示通道注意力模塊，Res表示上文提到的殘差單元，New Res表示添加模塊后的殘差單元，如圖5(a)所示。經(jīng)過本文利用可變卷積模塊來減少目標(biāo)因形狀變化導(dǎo)致的誤識(shí)別率，在較少的數(shù)據(jù)集上就有很好的效果，一定程度上減少工作量。而在安全帽檢測(cè)之前的工作中，對(duì)圖像細(xì)節(jié)部分在深層的網(wǎng)絡(luò)中不能很好地保留，為了更好的提取特征以及保留背景的紋理細(xì)節(jié)，分別將空間注意力和通道注意力引入到網(wǎng)絡(luò)的不同層中，以自適應(yīng)細(xì)化特征。最后根據(jù)觀察到所用數(shù)據(jù)集的目標(biāo)里有很多的小目標(biāo)從而對(duì)輸出特征圖在尺度上變化，來提高小目標(biāo)的識(shí)別率。

(a) Darkenet-53網(wǎng)絡(luò)變動(dòng)

(b) 多尺度特征圖變動(dòng)圖5 YOLOv3-CDF網(wǎng)絡(luò)Fig. 5 Network of YOLOv3-CDF

2.2 雙注意力機(jī)制

注意力機(jī)制模擬人類視覺注意力，重點(diǎn)強(qiáng)調(diào)與周圍變化大，令人關(guān)注的部分，在圖像處理中就是將全局像素之間的相互依賴作為特征的加權(quán)，對(duì)主要特征進(jìn)行重點(diǎn)關(guān)注，并抑制不必要的特征。SENet[16]專注于圖片通道，全面獲取通道間的相關(guān)性，主要是在每個(gè)通道上做了全局的池化處理，使在某種程度上具有全局的感受野，并進(jìn)行了特征選擇，完成了通道維度上的原始特征的重新標(biāo)定。受到啟發(fā)，Woo提出CBAM[17]模塊，結(jié)合了空間注意力和通道注意力，考慮空間信息和通道信息的共同作用，相比僅使用一種注意力有更好的效果，且CBAM是一個(gè)輕量級(jí)的通用模塊，可以無縫地集成到任何CNN架構(gòu)中。

金字塔特征注意網(wǎng)絡(luò)[18]里提到低級(jí)特征往往是點(diǎn)、線等邊緣信息，而高層特征往往是語義信息。根據(jù)不同層次特征的特點(diǎn)，采用通道方式關(guān)注高層特征，空間注意力為低層特征需要選擇有效特征。本文將CBAM的空間注意力模塊放在網(wǎng)絡(luò)淺層，增強(qiáng)特征的位置信息，將通道注意力模塊放在網(wǎng)絡(luò)深處，對(duì)抽象語義信息關(guān)注，如圖5所示。

通道注意力和空間注意力模塊的具體操作如圖 6所示?？臻g注意力模塊需要清楚圖片的哪些位置應(yīng)該有更高的反饋，通過聚合平均池化和最大池化的特征圖，送入到7×7 的卷積核中卷積，按通道維度產(chǎn)生 2 維的空間特征圖。而在通道注意力模塊中,輸入的特征圖首先經(jīng)過平均池化(AvgPool)和最大池化(MaxPool)的操作計(jì)算出特征, 相比只進(jìn)行單一池化，丟失的信息會(huì)減少。然后將特征送入共享的多層感知機(jī)模型(含有一個(gè)隱藏層)產(chǎn)生通道注意力圖。通道和空間注意力都在平均池化和最大池化兩個(gè)方面對(duì)特征進(jìn)行提取聚合,進(jìn)一步提高網(wǎng)絡(luò)的表征能力?？臻g注意力計(jì)算如式(5)，通道注意力計(jì)算如式(6)：

Ms(F)=σ(f7×7(Avgpool(F);Maxpool(F)))=

(5)

(6)

2.3 可變卷積

對(duì)于安全帽檢測(cè)來說，目標(biāo)主要是人和人的頭部，在大部分的圖片里，人都是正常站立，比較容易檢測(cè)到，但是進(jìn)行作業(yè)的工人所呈現(xiàn)的身體狀態(tài)是多種形式的，例如彎腰、蹲、坐等形態(tài)，并且由于攝像頭的拍攝角度問題，人的身體在姿態(tài)、大小、和角度上變化多樣，這使得網(wǎng)絡(luò)難以辨認(rèn)出目標(biāo)物。

可變卷積網(wǎng)絡(luò)[19]在神經(jīng)網(wǎng)絡(luò)中引入了學(xué)習(xí)目標(biāo)空間幾何形變的能力，相比于標(biāo)準(zhǔn)卷積的卷積核受限于固定的形狀造成的采樣能力有限，對(duì)于解決具有空間變化的目標(biāo)識(shí)別任務(wù)更加有效，如圖7所示。普通卷積是直接學(xué)習(xí)權(quán)重，而可變卷積是學(xué)習(xí)了根據(jù)不同特征提取該特征所需要的相應(yīng)偏移的能力，這樣使得對(duì)物體的形狀更加敏感，普通卷積計(jì)算如式(7)，可變卷積計(jì)算如式(8):

(7)

(8)

圖7 可變卷積結(jié)構(gòu)圖

其中:式(7)表達(dá)普通卷積，式(8)表達(dá)可變卷積。y為輸出的特征矩陣，x為輸入的特征矩陣，p0為其上的任意位置，w為采樣值的權(quán)重矩陣，R為單元格，且R覆蓋了整個(gè)輸入特征矩陣，pn為R上的任意為位置，△pn為偏移量，通常不是整數(shù)，應(yīng)用雙線性插值來確定偏移后采樣點(diǎn)的值。

綜上，可變卷積有更好地適應(yīng)目標(biāo)形變的能力，相對(duì)標(biāo)準(zhǔn)卷積，會(huì)多一部分計(jì)算開銷，以便自適應(yīng)地進(jìn)行卷積。對(duì)于安全帽檢測(cè)，需要精準(zhǔn)的目標(biāo)位置信息，所以本文考慮將可變卷積放在基礎(chǔ)網(wǎng)絡(luò)的淺層，如圖5(a)所示。

2.4 特征圖多尺度變化

YOLOv3使用了3個(gè)尺度的特征圖融合，但是在安全帽檢測(cè)中，人頭在圖像中的占比往往很小，屬于小目標(biāo)，而YOLOv3對(duì)網(wǎng)絡(luò)淺層信息利用得不夠充分，會(huì)導(dǎo)致人頭檢測(cè)效果欠佳。而添加新的尺度會(huì)增加模型的復(fù)雜度，造成訓(xùn)練和檢測(cè)時(shí)間加長。經(jīng)過考慮，決定將輸出的52×52尺度的特征圖再進(jìn)行上采樣與DarkNet里產(chǎn)生的104×104的特征圖進(jìn)行拼接。這樣做可以找到早期特征映射中的細(xì)粒度特征，并獲得更有意義的語義信息。其余操作與其他尺度的操作相同，從而形成104×104尺度的檢測(cè)，如圖5(b)所示。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)在自行標(biāo)注的數(shù)據(jù)集HELMET上進(jìn)行，其介紹在3.2節(jié)給出。為證明方法的有效性，選取雙階段檢測(cè)算法Faster R-CNN和單階段目標(biāo)檢測(cè)算法YOLOv3和SSD300進(jìn)行對(duì)比實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)環(huán)境配置如表1所示。對(duì)官方推薦的實(shí)驗(yàn)數(shù)值與自己的實(shí)驗(yàn)環(huán)境相結(jié)合，做出調(diào)整后，實(shí)驗(yàn)參數(shù)設(shè)置如表2所示。

表1 實(shí)驗(yàn)環(huán)境配置

表2 實(shí)驗(yàn)參數(shù)設(shè)置

3.2 實(shí)驗(yàn)數(shù)據(jù)集

選取網(wǎng)絡(luò)中搜集到的安全帽以及工人的圖片共3 174張作為實(shí)驗(yàn)數(shù)據(jù)，數(shù)據(jù)集包含各種顏色以及不同場(chǎng)景下的安全帽和人，且有個(gè)體差異，光照差異，視角變化以及不同程度的遮擋，數(shù)據(jù)信息豐富，其中測(cè)試集和驗(yàn)證集都是隨機(jī)從數(shù)據(jù)集中抽取一定比例進(jìn)行劃分。測(cè)試集比例為0.3，驗(yàn)證集比例為訓(xùn)練集的0.3倍，包含1 556張訓(xùn)練集圖片，666張驗(yàn)證集圖片，952張圖片用于測(cè)試。并對(duì)圖片用LabelImg工具進(jìn)行人工標(biāo)注，標(biāo)注示例如圖8所示。

安全帽按顏色分為4個(gè)類，還有person類以及none(沒有戴安全帽的人頭)類，將安全帽的特征細(xì)分，方便工程的部署，類別標(biāo)簽見表3。

圖8 標(biāo)注圖片示例

表3 標(biāo)簽類別

3.3 網(wǎng)絡(luò)訓(xùn)練與結(jié)果分析

將單個(gè)模塊加入的算法以及融合后的算法(YOLO-CDF)使用相同的訓(xùn)練數(shù)據(jù)文件，訓(xùn)練過程中每經(jīng)過100個(gè)批次，將學(xué)習(xí)率乘以0.2，加速模型收斂，且聚類文件相同，聚類后的先驗(yàn)框如表4所示，并將相關(guān)設(shè)置修改一致進(jìn)行訓(xùn)練。使用相同的測(cè)試集進(jìn)行測(cè)試，最后對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，并與YOLOv3，SSD300以及Fast R-CNN等經(jīng)典算法做比較，如圖9所示。

表4 先驗(yàn)框聚類結(jié)果

(a) Fast R-CNN結(jié)果

(b) SSD300結(jié)果

(c) YOLOv3結(jié)果

(d) YOLO-CDF結(jié)果圖9 各模型測(cè)試每個(gè)目標(biāo)類別的AP值以及mAP結(jié)果

3.3.1 模型選擇與評(píng)價(jià)標(biāo)準(zhǔn)

在驗(yàn)證集上損失最小的認(rèn)為是最優(yōu)模型，作為模型的代表進(jìn)行測(cè)試，loss的計(jì)算和YOLOv3的loss計(jì)算相同(式(9))，主要包括坐標(biāo)誤差(式(10)),置信度誤差(式(11))和分類誤差(式(12))。

Loss=Losscoord+LossIOU+Lossclass

(9)

(10)

(11)

(12)

測(cè)試使用類別平均精度(AP50)和各類別的平均精度均值(mAP50)作為評(píng)價(jià)指標(biāo)。

3.3.2 測(cè)試結(jié)果

模塊測(cè)試參數(shù)設(shè)置如表5所示。不同模塊加入后進(jìn)行測(cè)試的mAP如表6所示。表6中加粗字體為每列最優(yōu)值。YOLO-C表示僅添加CBAM模塊的網(wǎng)絡(luò)，YOLO-D表示僅添加Deform conv模塊的網(wǎng)絡(luò)，YOLO-F表示特征圖變化后的網(wǎng)絡(luò)。表6中可以看到融合所有模塊方法的YOLO-CDF算法相比單個(gè)模塊的加入的平均精度均值更高。

表5 測(cè)試參數(shù)設(shè)置

表6 各模塊加入后的mAP

為顯示方法的有效性，經(jīng)典算法YOLOv3，SSD300，F(xiàn)ast R-CNN測(cè)試參數(shù)采用官方推薦的數(shù)值，對(duì)同樣的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，得到訓(xùn)練模型后，對(duì)同一測(cè)試數(shù)據(jù)集行測(cè)試各目標(biāo)的AP值以及mAP，其結(jié)果如圖9，并整理成表7。可以看到：改進(jìn)的YOLO-CDF算法在測(cè)試集上的表現(xiàn)相比其他算法要更突出，mAP相比較表現(xiàn)較好的YOLOv3算法還提高了4.18%，這樣的精度提升對(duì)于檢測(cè)工地安全帽和工人的安全具有重要的意義。

表7 AP值以及mAP結(jié)果

本文還對(duì)YOLOv3和YOLO-CDF的檢測(cè)速度進(jìn)行了測(cè)試對(duì)比，如表8所示。結(jié)果表明:雖然YOLO-CDF算法相比其基礎(chǔ)網(wǎng)絡(luò)YOLOv3的檢測(cè)速度有些許降低，但是犧牲部分速度可以有更好的精準(zhǔn)度，且這個(gè)檢測(cè)速度依然可以滿足實(shí)時(shí)檢測(cè)的應(yīng)用需要，安全帽實(shí)時(shí)檢測(cè)的實(shí)用性完全可以得到保障。

表8 速度對(duì)比

圖10為SSD300，F(xiàn)ast R-CNN以及YOLOv3算法和本文提出的YOLO-CDF算法的檢測(cè)效果對(duì)比圖。展示的圖像為工地某一場(chǎng)景，人員集中、姿態(tài)隨意且有遮擋，其選自實(shí)驗(yàn)所用數(shù)據(jù)集的測(cè)試集?？梢钥闯鯵OLO-CDF算法相比較于其他算法對(duì)于圖中跨越欄桿的人及其頭部識(shí)別更加精準(zhǔn)，更加貼近目標(biāo)輪廓，得分也較高；而其他算法有漏識(shí)別以及檢測(cè)框貼近目標(biāo)不到位的情況存在。證明提出的YOLO-CDF算法可以更加高效地檢測(cè)到目標(biāo)的特征信息，改善目前安全帽檢測(cè)算法性能。

(a) 測(cè)試圖片原圖

(b) SSD300預(yù)測(cè)圖

(c) Fast R-CNN預(yù)測(cè)圖

(d) YOLOv3預(yù)測(cè)圖

(e) YOLO-CDF預(yù)測(cè)圖圖10 對(duì)比實(shí)驗(yàn)結(jié)果Fig. 10 Results of comparative experiments

4 結(jié) 語

選取YOLOv3作為基礎(chǔ)網(wǎng)絡(luò)，針對(duì)安全帽檢測(cè)進(jìn)行了注意力機(jī)制和可變卷積的增加以及多尺度特征圖的檢測(cè)改進(jìn)，使對(duì)安全帽的檢測(cè)更加精準(zhǔn)，并自行標(biāo)注了安全帽數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:進(jìn)行改進(jìn)后的算法YOLO-CDF在準(zhǔn)確度上有更加良好的表現(xiàn)，在測(cè)試數(shù)據(jù)集上達(dá)到73.18%的mAP，高于其他目標(biāo)檢測(cè)網(wǎng)絡(luò)算法，且檢測(cè)速度也能夠完成對(duì)安全帽進(jìn)行實(shí)時(shí)檢測(cè)的要求，能夠在安全帽檢測(cè)領(lǐng)域發(fā)揮出可靠性和實(shí)用價(jià)值。在之后的工作中，將進(jìn)一步研究目標(biāo)檢測(cè)模型的精度與速度之間的關(guān)系，對(duì)YOLOv3網(wǎng)絡(luò)的loss函數(shù)以及非極大值抑制部分進(jìn)行改進(jìn)，在增大準(zhǔn)確度的基礎(chǔ)上提升速度,同時(shí)增加樣本數(shù)據(jù)多樣性，并進(jìn)一步優(yōu)化縮小剪枝網(wǎng)絡(luò)模型，減少訓(xùn)練時(shí)間。