李記恒, 褚霄楊, 王濤, 劉鵬宇*

(1.北京市南水北調(diào)團城湖管理處,北京 100195; 2.北京工業(yè)大學 信息學部,北京 100124;3.先進信息網(wǎng)絡北京實驗室,北京 100124; 4.北京工業(yè)大學 計算智能與智能系統(tǒng)北京市重點實驗室,北京 100124 )

依托人工智能等先進技術優(yōu)勢建設智能泵站是在產(chǎn)業(yè)智能升級背景下的發(fā)展趨勢。泵站重要區(qū)域遍布多種設備裝置,要求進入泵站重點區(qū)域如高壓室、主廠房的人員佩戴安全帽[1]。由于人員安全防范意識參差不齊,未佩戴安全帽的情況時有發(fā)生,這是導致安全事故的重大隱患。人工監(jiān)管方式存在成本高、效率低等問題,因此迫切需要研究適配于泵站場景的安全帽檢測技術,實現(xiàn)智能高效的安防監(jiān)管[2]。

目前,安全帽佩戴檢測方法主要包括傳統(tǒng)檢測方法和基于深度學習的方法。傳統(tǒng)方法通常在形態(tài)學操作基礎上利用顏色、形狀特征檢測安全帽[3]。劉曉慧等[4]利用人體膚色和安全帽顏色的顯著性差異進行安全帽檢測,方法簡單,但易受光線強度的干擾。Shrestha等[5]利用邊緣檢測算法判斷人臉上方是否存在安全帽的半圓輪廓進行安全帽檢測,此類方法使用形狀特征,克服了光照不均的影響。Rubaiyat等[6]通過特征描述子結合分類器的方法判定安全帽位置,從而提升安全帽檢測精度。傳統(tǒng)安全帽檢測方法適用的場景比較理想且多為戶外施工現(xiàn)場,在復雜環(huán)境下的檢測精度較低,因此難以適用于泵站場景。深度學習技術的發(fā)展為安全帽檢測提供了新方向。黃渝文等[7]改進了LeNet_5,提出了一種并行雙路卷積神經(jīng)網(wǎng)絡方法來識別人體,再通過顏色特征識別安全帽,但是對遠距離小目標檢測效果不佳。何慧敏等[8]通過構建多層卷積神經(jīng)網(wǎng)絡對人進行檢測,再結合顏色和方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征識別安全帽,檢測效果有所提升,但是對于人員之間相互遮擋和物體對人遮擋的情況效果不佳。上述方法雖然較傳統(tǒng)方法精度有明顯提升,但是難以適用于泵站場景下的遮擋和小目標等情況。

為有效應對泵站場景的安全帽檢測任務,針對存在的遮擋和遠距離目標檢測等問題,本文以YOLOv5目標檢測模型為基礎,提出一種面向泵站場景的安全帽檢測方法。首先建立了泵站場景下安全帽的數(shù)據(jù)集;在特征提取網(wǎng)絡算法中融入注意力機制[9],同時增加一個檢測層提升多尺度學習能力,并在后處理時使用柔和非極大值抑制(Soft Non-Manimum Suppression,Soft-NMS)和完全交并比(Complete Intersection over Union,CIoU)算法進行改進,以減少遮擋目標漏檢的情況[9]。通過對比得出,本文所提算法的效果優(yōu)于常見的目標檢測算法,可有效解決泵站場景的安全帽檢測問題。

1 面向泵站場景的安全帽檢測方法

1.1 方法概述

本文所提出的泵站場景的安全帽檢測算法主要包括如下3個步驟:首先獲取泵站廠區(qū)監(jiān)控數(shù)據(jù),構建泵站場景的安全帽檢測數(shù)據(jù)集;其次構建安全帽檢測網(wǎng)絡用于模型的訓練和推理預測;最終獲得安全帽檢測的識別結果。

1.2 改進型的目標檢測網(wǎng)絡

本文所提出的目標檢測網(wǎng)絡結構如圖1所示,主要分為特征提取網(wǎng)絡、Neck網(wǎng)絡和預測網(wǎng)絡3部分。

圖1 改進型檢測網(wǎng)絡結構圖

特征提取網(wǎng)絡融入SE-Net(Squeeze-and-Excitation Networks)注意力機制模塊,提升對小目標的特征提取能力[10]。在Neck網(wǎng)絡結構中增加一個檢測層使得特征融合時能夠結合多級特征,并在預測時使用Soft-NMS改進去冗余框算法以減少遮擋目標的漏檢情況。

1.2.1 改進的特征提取網(wǎng)絡

輸入的原始圖像首先經(jīng)過Focus結構,其主要作用是從高分辨率圖像中抽取像素點重構為低分辨率圖像,并獲得獨立的特征層[11],經(jīng)過通道堆疊后可將寬高信息集中到通道信息,從而達到增強輸入圖像感受視野、降低模型計算量的作用[11],Focus具體結構如圖2所示。

圖2 Focus結構示意圖

Focus結構處理后的特征圖經(jīng)過卷積進行特征提取,進一步降低圖像的尺寸,并采用CSP結構進行安全帽特征的細致化提取[12]。其中CSP結構包含2個分支:第1個分支使用多個卷積層進行特征提取并用殘差結構將分支的輸入輸出相連,減少因網(wǎng)絡層過深引起的梯度消失現(xiàn)象:另一個分支由一個卷積層處理保留部分特征信息,最終將2個分支的結果進行通道堆疊獲得融合之后的特征圖[13],CSP結構如圖3所示。

圖3 CSP結構示意圖

利用深層網(wǎng)絡提取特征圖,不同通道包含著不同類別的特征信息,學習不同通道間的特征信息對提高安全帽檢測準確度具有重要的意義[14],因此本文在CSP結構進行細致化特征提取后增加了一個SE-Net層用于獲取具有更強語義的安全帽特征信息[14]。SE-Net具體結構如圖4所示。

圖4 SE-Net結構示意圖

輸入一個大小為C′×W′×H′的特征圖X,經(jīng)過卷積映射后變?yōu)榇笮镃×W×H的特征圖U,在空間維度上提高模型的感受野[15]。然后將特征圖U分成2個分支,其中一個分支進行擠壓和激勵操作,另一個分支對特征圖進行重標定。擠壓模塊主要利用全局池化層對通道進行壓縮來獲取全局空間信息,提高對全局目標特征的提取能力;激勵模塊主要通過全連接層和非線性層獲取通道間的關系,將不同通道的安全帽特征信息結合起來。重標定模塊將輸入特征圖中每個通道與注意力向量的元素相乘來提高模型對通道特征的敏感性[16]。相較于傳統(tǒng)卷積,池化操作默認不同通道的重要性是相同的,引入注意力機制后能夠使模型聚焦于強語義安全帽特征通道的信息,提高整體特征的提取能力。

1.2.2 多檢測層的Neck網(wǎng)絡

原始YOLO系列目標檢測模型Neck部分使用骨干網(wǎng)絡提取3個尺度不同的特征層進行特征融合。其中淺層特征圖具有弱語義、分辨率高和幾何細節(jié)表征能力強等特點;而深層特征圖具有強語義、分辨率低和集合細節(jié)表征能力弱的特點[16],采用特征融合方法能夠使模型學習到不同尺度的語義信息[16]。鑒于泵站場景下,人員會隨著活動范圍不同,在監(jiān)控畫面中出現(xiàn)的尺寸大小也會不一,為使模型能夠從不同大小的目標特征中獲取更多語義信息,本文在Neck網(wǎng)絡增加一次上采樣獲得大小為160×160的特征層[17],再將所有的特征層與特征提取網(wǎng)絡提取的特征相融合使得模型能夠結合多級特征[18]。因此本文最終獲得4個大小分別為20×20、40×40、80×80和160×160的特征層作為檢測頭的輸入,用于不同尺度大小的預測,改進型Neck網(wǎng)絡具體結構如圖5所示。

圖5 改進型Neck網(wǎng)絡結構示意圖

1.3 預測網(wǎng)絡優(yōu)化

模型預測主要是對上述P2～P5四種不同尺度大小的特征圖進行后處理,通過1×1卷積操作輸出4個不同尺寸分辨率大小的特征圖。對輸出的特征圖進行損失計算,生成一個包括類別概率、邊界框得分和置信度得分的特征向量。訓練損失包含3個部分:分類、定位和置信度,總損失為3類之和,總和的值越小代表模型檢測能力越好。其中置信度和分類損失都是基于二元交叉熵損失函數(shù)進行計算的,分別用于計算模型預測矩形框中存在真實標注目標類別的概率和預測矩形框中目標類別屬于真實標注類別的概率,而定位損失計算模型預測目標框和真實標注目標框之間的誤差目前常采用IoU作為指標,存在回歸精度低的問題,因此下面從這方面進行優(yōu)化。

1.3.1 IoU優(yōu)化

原始的YOLO系列目標檢測模型采用IoU作為判斷真實框A和預測框B的重合程度指標,其計算公式為

(1)

對于安全帽檢測中的小目標以及遮擋現(xiàn)象等問題,IoU的邊框回歸精度較低,因此本研究采用CIoU作為預測框的回歸損失函數(shù),并引入懲罰項RCIoU,其計算公式為

(2)

(3)

式中:ρ為歐式距離;b、bgt分別為預測框和真實框的中心點;c為包含預測框和真實框的對角線距離;α為權重系統(tǒng);v為測量長寬比的一致性。

(4)

(5)

式中:wgt、hgt、w、h分別為兩框的長和寬。

1.3.2 NMS優(yōu)化

傳統(tǒng)NMS在當前檢測框和最高分檢測框的CIoU大于閾值時,直接將該檢測框的得分置0,這將導致重疊區(qū)域的目標被漏檢[18]。本文采用Soft-NMS替換原有的NMS算法,使得計算得分時會根據(jù)重合面積的大小給出檢測框的得分,而不會直接置為0,其計算公式為

(6)

式中:Si為當前檢測框的得分;M為得分最高的檢測框;bi為當前檢測框;Nt為交并比的閾值[19]。

2 泵站場景安全帽數(shù)據(jù)集

本研究使用的數(shù)據(jù)集為泵站監(jiān)控實地拍攝的圖片,共1 800幅圖片,包含佩戴安全帽和未佩戴安全帽2種目標。為防止網(wǎng)絡訓練時出現(xiàn)過擬合的情況,通過左右翻轉(zhuǎn)、平移、拉伸、旋轉(zhuǎn)和裁剪等方式對數(shù)據(jù)樣本進行擴充,最終將數(shù)據(jù)集擴充到7 213張。通過圖像標注軟件LabelImg進行圖像標注,并按照8∶1∶1劃分為訓練集、驗證集和測試集,輸入的圖像尺寸大小統(tǒng)一為640像素×640像素劃分訓練。

3 試驗結果與分析

本研究使用的操作系統(tǒng)為Ubuntu18.02,CPU為Intel-i7-10875,GPU為NVIDIA GeForce RTX 3090,并基于遷移學習策略使用預訓練權重進行訓練,加速模型的收斂。訓練的學習率為0.000 7,Batchsize為16,epoch為100,使用Adam作為優(yōu)化器。

3.1 評價指標

本研究采用精確率(Precision)、召回率(Recall)、平均準確率(AP)和均值平均精度(mAP)作為評價指標來衡量模型的性能,其具體計算公式為

(7)

(8)

(9)

(10)

式中:TP為模型預測為正例且真實標注為正例;FP為模型預測為正例而真實標注為負例;FN為模型預測為負例而真實標注為正例;n為類別數(shù);i為當前類別序號。AP值是Precision在(0,1)區(qū)間內(nèi)對Recall進行積分獲得的值,用來評估某一類目標的預測效果,mAP為多類目標的AP均值。

3.2 消融試驗

為證明本文所提方法的有效性,選取原始YOLOv5s作為基準,并在此基礎上添加本文所提的不同模塊進行驗證,具體結果如表1所示。根據(jù)結果可以發(fā)現(xiàn)原始YOLOv5s在本數(shù)據(jù)集上的精確率和召回率分別達到了89.21%和84.17%,均值平均精度達到了86.91%。在添加本文提出的模塊后mAP均有所提升,所提算法最終mAP達到了93.5%,證明了本文所提方法在泵站場景安全帽檢測任務中的可行性。

表1 消融實驗對比表

3.3 對比試驗

3.3.1 定性分析

為驗證本文所提算法的性能,選擇與目前常見效果較好的YOLOv5s、YOLOX算法進行對比試驗,針對小目標檢測、人員遮擋以及被物體遮擋3種情況進行試驗。試驗采用的數(shù)據(jù)集為本文所建數(shù)據(jù)集,訓練的epoch均為100,具體效果如圖6所示,在遠距離、人員遮擋和物體遮擋的情況下,其他算法均有漏檢目標的情況出現(xiàn),因此足以證明本文所提的方法在復雜的泵站場景下安全帽檢測效果要優(yōu)于其他常見的目標檢測算法。

圖6 不同算法效果對比圖

3.3.2 定量分析

為更好地對比本文方法與常見的目標檢測算法的性能,選用mAP作為評價指標來衡量安全帽檢測的準確率,最終本文所提方法的mAP隨epoch的變化情況如圖7所示,最終達到了93.5%,損失Loss隨epoch的變化情況如圖8所示。

圖7 訓練精度折線圖

圖8 訓練損失折線圖

同時,與常見的目標檢測算法SSD、Faster R-CNN、YOLOv4s、YOLOv5s和YOLOXSOTA相比,本文方法的mAP均有不同程度的提高,性能對比結果如表2所示,足以證明本文所提方法具有優(yōu)越性,能夠適用于泵站復雜場景的安全帽檢測問題。

表2 本文模型與主流目標檢測模型性能對比表

4 結束語

為解決泵站復雜場景下安全帽佩戴檢測技術因遠距離和遮擋等因素帶來的準確度不佳問題,本文在特征提取網(wǎng)絡中融入了SE-Net注意力機制,使得模型關注于目標區(qū)域的通道信息,同時增加了一個目標檢測層使得特征融合能夠結合不同尺度的特征信息。最后使用CIoU和Soft-NMS改進原有的YOLOv5s算法,降低遮擋情況下的目標漏檢問題。試驗結果表明,本文所提的方法能夠有效解決泵站復雜場景下遠距離和遮擋情況的安全帽檢測問題,最終mAP達到了93.5%,后續(xù)將考慮設計更加輕量化的模型來提升安全帽的檢測速度。