陳高汝,陳暉,高翔,李長元,黃浩斌,李積捷,蔡嘉煒,林喆,江灝
(1. 國網(wǎng)福州供電公司,福建 福州 350009; 2. 福州大學電氣工程與自動化學院,福建 福州 350108)
我國電力生產事故的發(fā)生頻率處于較高水平,對城市的生產安全造成威脅. 因此,有必要將全方位的安全生產理念引入到電力生產作業(yè)中,以便迅速發(fā)現(xiàn)設備中的缺陷和安全隱患[1-2],提高電力維修和檢修的效率[3]. 在日常巡檢和維修過程中,電力工作人員常常會接觸高壓電力設備,若操作不當或未佩戴安全帶和袖章,很容易出現(xiàn)安全事故. 為確保電力工作人員采用合規(guī)防護措施和操作流程,提升現(xiàn)場安全作業(yè)水平,有必要及時進行安全帶和袖章的檢測.
目前,電力工作人員安全帶和袖章佩戴的篩查大多以人力為主[4],檢測精度較低且速度過慢,傳統(tǒng)的檢測方法已無法滿足實際需求. 因此,基于深度學習的檢測方法逐漸被采用[5]. 該方法可以分為兩大類: 一類是兩階段方法,包括區(qū)域卷積神經網(wǎng)絡[6]、 空間金字塔匯集網(wǎng)絡[7]、 Fast-RCNN[8]、 Faster-RCNN[9]和基于區(qū)域的全卷積神經網(wǎng)絡[10]等方法; 另一類是一步法,包括單次激發(fā)探測器[11]、 YOLO[12]、 YOLOv2[13]、 YOLOv3[14]、 YOLOv4[15]等方法. 這些方法通過直接計算物體的坐標和類別概率,來提供單次檢測的結果. 但是,現(xiàn)有研究主要集中在對較大物體的檢測上,而袖章等小目標的檢測仍有一定挑戰(zhàn). 為進一步保障電力工作人員的人身安全,有必要開展對電力工作人員的安全帶和袖章佩戴檢測的研究.
本研究提出一種基于深度卷積神經網(wǎng)絡的安全帶和袖章檢測方法. 目標物體的特征較為不明顯,屬于小目標范疇,且與人員角色有關. 采用級聯(lián)檢測[16],利用YOLOX-Tiny目標檢測網(wǎng)絡優(yōu)先識別出離地人員和著地人員; 再選取合適的非極大值抑制(non-maximum suppression,NMS)閾值[17],檢測出正確佩戴安全帶的工作人員和正確佩戴紅色袖章的監(jiān)護人員; 最后對比不同算法檢測安全帶和袖章的級聯(lián)檢測指標,實現(xiàn)算法的最優(yōu)選擇.
針對電力工作人員的安全帶和袖章特征較不明顯、 袖章尺寸較小等問題,提出一種基于YOLOX-Tiny的級聯(lián)檢測,以提高電力工作人員安全帶和袖章檢測的準確率. YOLOX-Tiny的主干特征提取網(wǎng)絡為CSPDarknet,利用特征金字塔(Neck)提取特征(feature),最終獲取到1×1卷積核(1×1 conv)和3×3卷積核(1×1 conv). 具體檢測流程(圖1) 如下: 首先,將電力工作人員現(xiàn)場圖片送入YOLOX-Tiny目標檢測網(wǎng)絡進行訓練和檢測,以此來區(qū)分不同人員角色,從而框選并截取出離地人員和著地人員; 其次,將框選區(qū)域作為感興趣區(qū)域(region of interest, ROI),并將ROI再一次送到檢測網(wǎng)絡中,進行安全帶和袖章的小目標檢測; 再次,采用這種級聯(lián)檢測的方式識別出佩戴安全帶的工作人員和佩戴紅色袖章的監(jiān)護人員,完成人員角色下的佩戴檢測; 最后,通過實驗進行不同算法檢測精度的對比,完成算法的最優(yōu)選擇.
圖1 級聯(lián)檢測結構
與以往的YOLO系列相比,YOLOX-Tiny的檢測速度快且識別準確率相對較高,特別適用于對小物體的識別和檢測. YOLOX-Tiny網(wǎng)絡包括輸入部分、 特征提取網(wǎng)絡部分、 卷積部分和特征提取部分,最終獲取到特征點的置信度(cls)、 特征點的回歸系數(shù)、 對應物體是否在特征點(obj)等信息.
YOLOX-Tiny檢測安全帶和袖章的基本網(wǎng)絡檢測流程為: 1) 將電力工作人員的圖像進行等比縮放,最終得到尺寸為416 px×416 px的圖片,輸入到檢測網(wǎng)絡; 2)進行網(wǎng)絡分割和邊界框預測,得到尺寸為52 px×52 px、 26 px×26 px、 13 px×13 px的3個特征圖; 3) 采用NMS,計算每個邊界框的置信度.
級聯(lián)檢測方法與常規(guī)檢測方法的對比如圖2所示. 與級聯(lián)檢測相比,常規(guī)檢測僅依賴初始的檢測結果,對其進行后處理,而未對人員角色進行區(qū)分,檢測精度難以有太大的提升. 級聯(lián)檢測方法采用兩階段檢測: 第一階段先檢測出離地人員和著地人員,獲取ROI; 第二階段則利用ROI的信息,識別出安全帶和袖章,以此來評價工作人員和監(jiān)護人員是否佩戴規(guī)范. 此方法能較好地平衡檢測精度和檢測速度. 其精度的提高在于減少目標區(qū)域在識別圖像中的占比,無需對整幅圖像進行檢測,袖章這類小目標物體在圖像中的占比得到提高,因此可大大提高檢測的精度; 但是由于需要兩個檢測階段,相比于常規(guī)檢測而言,此方法會給檢測帶來一定的速度損失.
圖2 檢測方法對比
本實驗所用計算機處理器型號為Intel Core i7-6850K,顯卡型號為NVIDIA GeForce GTX 1080 Ti GPUs,內存為32 GB. 操作系統(tǒng)為Ubuntu 16.04 LTS,神經網(wǎng)絡部分在Mmdetection框架下搭建,軟件編程環(huán)境為python 3.6。
本研究中所使用的數(shù)據(jù)均是從天池云競賽中收集的. 從全部檢測數(shù)據(jù)中,選取3 000張圖像進行實驗,并對紅色袖章(badge)、 離地人員(offground)、 著地人員(ground)和安全帶(safebelt)進行標注,根據(jù)標注信息進行框選,最終識別出佩戴安全帶工作人員(offground+safebelt)和佩戴紅色袖章監(jiān)護人員(ground+badge). 每個圖像至少含有一個目標,將具有不同像素分辨率的原始檢測圖像調整為512 px×512 px的統(tǒng)一大小,以匹配檢測器的輸入要求. 圖3為在512 px×512 px的圖片中袖章的占比,相對面積占比小于1/8的目標占整個數(shù)據(jù)的30%,說明數(shù)據(jù)集存在一定量的小目標. 為反映所提出方法的真實性能,使用相對接近的分割率來生成訓練數(shù)據(jù)(60%)和測試數(shù)據(jù)(40%).
圖3 目標區(qū)域的相對面積占比
本研究提出的安全帶和袖章級聯(lián)檢測,主要包括兩個部分: 1) 采用YOLOX-Tiny識別出離地人員和著地人員,作為ROI區(qū)域; 2) 將ROI區(qū)域再次輸入檢測網(wǎng)絡中,判斷識別出工作人員是否正確佩戴安全帶、 監(jiān)護人員是否正確佩戴袖章.
2.2.1級聯(lián)檢測模型訓練
安全帶和袖章級聯(lián)檢測模型YOLOX-Tiny訓練的參數(shù)設置如下: 初始學習率為0.001; 訓練批次(Batch Size)為16; NMS為0.60; 迭代次數(shù)為300; 每10步保存一次模型權重.
模型平均損失隨著訓練批次變化情況如圖4所示,隨著訓練批次的增加,模型的平均損失不斷減小,從32左右降到3左右,整個網(wǎng)絡趨于收斂.
圖4 平均損失變化曲線
各損失的變化情況如圖5所示,隨著訓練批次的增加,模型的cls、 回歸損失(bbox)和obj等3個值不斷減少,整個網(wǎng)絡趨于平穩(wěn).
圖5 各損失變化曲線
2.2.2模型級聯(lián)檢測結果分析
本次共對187張測試集上的電力工作人員進行檢測,檢測結果如圖6所示. 從圖中可以發(fā)現(xiàn),檢測精度還是相對較高的,該方法可以有效識別出佩戴安全帶工作人員和佩戴紅色袖章監(jiān)護人員.
圖6 檢測結果
繪制常規(guī)檢測方法和級聯(lián)檢測方法的召回率和平均準確率(average precision, AP)曲線,如圖7所示. 常規(guī)檢測的平均準確率為84.8%,級聯(lián)檢測可將檢測的平均準確率提升至91.0%,在一定程度上提高識別的精度.
圖7 常規(guī)檢測與級聯(lián)檢測的精度對比
為進一步研究不同NMS值對安全帶和袖章目標檢測結果的影響,保證檢測尺度為1 024 px×1 024 px不變,分別獲取NMS值在0.50、 0.55、 0.60、 0.65、 0.70時安全帶和袖章的檢測結果. 在NMS取不同值的情況下,目標檢測的平均準確率隨著召回率的變化情況如圖8所示. 當NMS值為0.60時,平均準確率為91.0%,達到最高. 實驗中發(fā)現(xiàn),當NMS值大于或者小于0.60時,會出現(xiàn)精度下降,因此本研究最終選取0.60為NMS的值.
圖8 不同NMS值下的平均準確率和召回率
為研究在不同參數(shù)下算法的性能,分別設置不同的分辨率(Resolution)、 訓練代數(shù)(Train Epoch)和訓練批次進行實驗,實驗結果如表1所示,在NMS設置為0.60的情況下,模型預測效果最優(yōu).
表1 分析模型的設計選擇
為驗證本研究提出方法的有效性,利用Cascade-RCNN[18]、 Faster-RCNN[9]、 YOLOX-Tiny[19]和本算法對安全帶和袖章進行檢測,并分析對比實驗數(shù)據(jù),結果如表2所示. 算法的評價指標主要包括準確率、 召回率和平均準確率. 召回率,即預測樣本中正確背景下的陽性樣本數(shù)量與所有樣本數(shù)量的比值. 平均準確率,即預測的樣本數(shù)量的平均值. 本方法的平均準確率可以達到91.0%,相較于傳統(tǒng)算法有較大的提升,并且?guī)蕿?1.06 F·s-1,在滿足準確率的同時也滿足實時性要求,能夠有效實現(xiàn)安全帶和袖章的級聯(lián)檢測.
表2 不同算法檢測結果對比
本研究提出一種基于深度卷積神經網(wǎng)絡的識別方法. 將電力工作人員圖像輸入尺度等比縮放到1 024 px×1 024 px,采用級聯(lián)檢測,選取NMS為0.60,則檢測的平均準確率可達到91.0%. 實驗證明,本研究提出的級聯(lián)檢測方法,能夠有效識別電力工作人員的安全帶和袖章,對于電力工作人員事故的減少具有重要意義.