趙彥龍 趙三偉 閆偉才 鐘震宇

摘要：在生產(chǎn)作業(yè)過程中，作業(yè)人員注意力不集中是生產(chǎn)事故發(fā)生的主要誘因。針對現(xiàn)有的專注性研究方法過于依賴高性能計(jì)算設(shè)備，存在部署困難和隱私數(shù)據(jù)泄露等問題，提出一種結(jié)合深度學(xué)習(xí)和邊緣計(jì)算的作業(yè)人員專注性檢測方法。首先，利用YOLOv5算法對使用手機(jī)、抽煙和喝水3種常見的分心行為進(jìn)行實(shí)時(shí)檢測；然后，采用輕量化人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)和Perclos算法對作業(yè)人員的疲勞程度進(jìn)行評估，并對疲勞狀態(tài)進(jìn)行預(yù)警；最后，采用基于通道剪枝的壓縮算法將分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)部署于低功耗的便攜式邊緣計(jì)算設(shè)備，避免作業(yè)人員隱私和商業(yè)數(shù)據(jù)泄露的風(fēng)險(xiǎn)。實(shí)驗(yàn)結(jié)果表明，該方法對疲勞行為和分心行為的檢測準(zhǔn)確率分別達(dá)98.6%和99.8%，滿足實(shí)際的部署需求。

關(guān)鍵詞：專注性檢測；YOLOv5算法；人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)；Perclos算法；通道剪枝的壓縮算法

中圖分類號：TP391.4???????????文獻(xiàn)標(biāo)志碼：A ???????????文章編號：1674-2605（2023）05-0007-06

DOI：10.3969/j.issn.1674-2605.2023.05.007

Detection Method of Operator Concentration Combined with ????????????Deep Learning and Edge Computing

ZHAO Yanlong¹??ZHAO Sanwei²??YAN Weicai³??ZHONG?Zhenyu⁴

（1.Data Information Office， Inner Mongolia Military Region， Hohhot?010051， China

2.Wuhan Binhu Electronics Co.， Ltd.， Wuhan 430205， China

3.China Comservice Consulting Design Research Institute Co.， Ltd.， Nanjing 210023， China

4.Institute of Intelligent Manufacturing， Guangdong Academy of Sciences/Guangdong Key Laboratory

of Modern Control Technology，?Guangzhou 510070， China）

Abstract： During the production operation process， the lack of concentration of operators is the main cause of production accidents. In view of the existing focus research methods that rely too much on high-performance computing devices， which have problems such as deployment difficulties and privacy data leakage， a focus detection method for operators combining deep learning and edge computing is proposed. Firstly， the YOLOv5 algorithm is used to detect three common distracting behaviors： using a mobile phone， smoking， and drinking water in real-time; Then， a lightweight facial keypoint detection network and Perclos algorithm are used to evaluate the fatigue level of operators and provide early warning of fatigue status; Finally， the channel pruning based compression algorithm is used to deploy the distraction behavior detection network and fatigue behavior detection network to low-power portable edge computing devices to avoid the risk of operators' privacy and commercial data leakage. The experimental results show that the detection accuracy of this method for fatigue behavior and distraction behavior reaches 98.6% and 99.8%， respectively， meeting the actual deployment requirements.

Keywords： concentration detection; YOLOv5 algorithm; face key point detection network; Perclos algorithm; compression algorithm for channel pruning

0 引言

隨著生產(chǎn)作業(yè)日益復(fù)雜和自動(dòng)化程度的不斷提高，人機(jī)協(xié)作、人在回路等制造模式逐漸演化成智能制造的新范式，其中作業(yè)人員是生產(chǎn)制造過程中最為重要的角色之一^[1-3]。然而，面對高效率和高產(chǎn)出的生產(chǎn)任務(wù)，作業(yè)人員會發(fā)生注意力分散和疲勞等問題，不僅影響生產(chǎn)效率和產(chǎn)品質(zhì)量，甚至可能引發(fā)生產(chǎn)事故，威脅作業(yè)人員的人身安全并導(dǎo)致精密昂貴的生產(chǎn)設(shè)備損壞，給生產(chǎn)作業(yè)帶來巨大的安全隱患和經(jīng)濟(jì)損失。因此，及時(shí)地確定作業(yè)人員的專注性是保證人員安全、提升生產(chǎn)質(zhì)量、避免意外事故的重要舉措。

近年來，研究人員基于不同視角和方法對作業(yè)人員的專注性檢測進(jìn)行了一系列地研究。孫劍等^[4]提出一種基于自然駕駛數(shù)據(jù)的分心駕駛行為識別方法，該方法結(jié)合態(tài)勢感知、決策樹和隨機(jī)森林對作業(yè)人員分心行為特征進(jìn)行排序，并使用長短時(shí)記憶網(wǎng)絡(luò)完成分心駕駛的分類識別，準(zhǔn)確率達(dá)89%。尹智帥等^[5]采用姿態(tài)估計(jì)方法檢測視頻中人體的姿態(tài)，并建立分心駕駛行為檢測模型，該模型在實(shí)際采集的駕駛圖像上取得85.42%的識別率。周建亮等^[6]通過測量分析建筑工人的心率、皮膚溫度、舒張壓、收縮壓等4項(xiàng)生理指標(biāo)，建立支持向量機(jī)模型用于疲勞檢測，能夠準(zhǔn)確進(jìn)行建筑工人的疲勞評估和預(yù)警。ZHAO等^[7]利用結(jié)構(gòu)光深度相機(jī)的深度特征，定位駕駛?cè)藛T的空間位置，并完成駕駛分心行為檢測，實(shí)驗(yàn)結(jié)果表明，深度相機(jī)能夠有效改善光照噪聲問題，提高識別效果。

雖然以往研究人員在專注性檢測領(lǐng)域已取得顯著的進(jìn)展，但大部分研究聚焦于交通駕駛領(lǐng)域，對生產(chǎn)制造領(lǐng)域的研究較少，且研究方法存在以下局限： 1） 功能單一，以往的研究方法只關(guān)注分心行為的檢測，忽視了作業(yè)人員的疲勞程度與專注性的關(guān)聯(lián)；2） 隱私暴露，目前多數(shù)研究通過建立大模型來提升檢測的精度或效果，忽視了算法的易部署性和隱私性。

針對當(dāng)前研究面臨的局限性，本文提出一種結(jié)合深度學(xué)習(xí)和邊緣計(jì)算的作業(yè)人員專注性檢測方法。該方法由分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)兩部分組成。其中，分心行為檢測網(wǎng)絡(luò)利用YOLOv5算法^[8-10]對使用手機(jī)、抽煙和喝水3種常見的分心行為進(jìn)行實(shí)時(shí)檢測；疲勞行為檢測網(wǎng)絡(luò)借助人臉關(guān)鍵點(diǎn)檢測算法和Perclos算法^[11]，對作業(yè)人員的疲勞程度進(jìn)行評估，并對疲勞狀態(tài)進(jìn)行預(yù)警。此外，為避免作業(yè)人員隱私和商業(yè)數(shù)據(jù)泄露，采用基于通道剪枝的壓縮算法對分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)進(jìn)行壓縮，并部署于邊緣計(jì)算設(shè)備，實(shí)現(xiàn)離線環(huán)境下作業(yè)人員的實(shí)時(shí)專注性檢測。

1 ?檢測方法

結(jié)合深度學(xué)習(xí)和邊緣計(jì)算的作業(yè)人員專注性檢測方法流程如圖1所示。

首先，將實(shí)時(shí)監(jiān)測的作業(yè)人員視頻幀通過亮度調(diào)整和批歸一化操作進(jìn)行預(yù)處理，減少圖像噪聲干擾；然后，通過分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)進(jìn)行檢測；最后，基于通道剪枝的壓縮算法對分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)進(jìn)行壓縮，并部署于邊緣計(jì)算設(shè)備，實(shí)現(xiàn)作業(yè)人員實(shí)時(shí)專注性檢測。

1.1 ?分心行為檢測

考慮到作業(yè)人員發(fā)生分心行為時(shí)，不可避免地導(dǎo)致其專注性下降，影響正常的生產(chǎn)作業(yè)。因此，本文采用目標(biāo)檢測算法YOLOv5對工作場景下的作業(yè)人員進(jìn)行分心行為實(shí)時(shí)檢測。

1.1.1 ?YOLOv5

YOLOv5是一種快速的One-Stage目標(biāo)檢測算法，由輸入層、主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和輸出層組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

首先，輸入待檢測作業(yè)人員的圖像；然后，主干網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提?。唤又?，頸部網(wǎng)絡(luò)對提取的特征進(jìn)行多尺度特征融合；最后，輸出層對融合后的特征進(jìn)行分析并推理出檢測結(jié)果。

考慮到生產(chǎn)作業(yè)空間的復(fù)雜性及不同工作場景下視頻圖像的尺寸不同，直接對視頻圖像進(jìn)行裁剪易丟失關(guān)鍵信息，因此在主干網(wǎng)絡(luò)中采用空間金字塔池化（spatial pyramid pooling，?SPP）模塊。SPP模塊先基于3個(gè)大小不同的池化核將模塊輸入的特征圖劃分為不同尺寸的網(wǎng)格，并對每個(gè)網(wǎng)格進(jìn)行最大池化處理；再將池化結(jié)果堆疊成特定尺寸的特征圖，從而避免因裁剪而導(dǎo)致重要的特征丟失。

為加強(qiáng)模型融合特征的能力，YOLOv5算法在主干網(wǎng)絡(luò)和輸出層插入頸部網(wǎng)絡(luò)。頸部網(wǎng)絡(luò)融合了特征金字塔網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)的優(yōu)勢，通過上采樣方法將高層特征圖與低層特征圖融合，提升不同尺寸目標(biāo)的檢測能力。上采樣方法完成自頂向下的語義特征傳遞后，網(wǎng)絡(luò)中缺少目標(biāo)的定位特征信息，因此在特征金字塔網(wǎng)絡(luò)之后引入路徑聚合網(wǎng)絡(luò)，實(shí)現(xiàn)自底向上的定位特征傳遞，融合底層的位置信息，加強(qiáng)網(wǎng)絡(luò)的特征融合。輸出層利用分類器將頸部網(wǎng)絡(luò)獲取的特征圖進(jìn)行分類，使用回歸器對預(yù)測框進(jìn)行修正微調(diào)，最終輸出檢測結(jié)果。

1.1.2 ?分心行為檢測網(wǎng)絡(luò)

本文基于YOLOv5算法構(gòu)建分心行為檢測網(wǎng)絡(luò)的過程如下：

1） 使用大量具有分心行為的視頻幀對YOLOv5算法行訓(xùn)練，使該算法學(xué)習(xí)到分心行為的圖像特征，并將這些圖像特征與對應(yīng)的行為關(guān)聯(lián)；

2） 在測試過程中，利用訓(xùn)練好的YOLOv5算法對輸入的視頻幀進(jìn)行判斷，實(shí)現(xiàn)分心行為的實(shí)時(shí)檢測。

1.2 ?疲勞行為檢測

為評估作業(yè)人員的疲勞程度并及時(shí)發(fā)出疲勞警告，首先，采用基于方向梯度直方圖（histogram of oriented gradient，?HOG）的輕量化人臉關(guān)鍵點(diǎn)檢測作業(yè)人員圖像中68個(gè)人臉關(guān)鍵點(diǎn)，包括眉毛10個(gè)，鼻子9個(gè)，眼睛12個(gè)，嘴巴20個(gè)，下巴17個(gè)；然后，基于Perclos算法根據(jù)68個(gè)人臉關(guān)鍵點(diǎn)分析疲勞行為并計(jì)算疲勞程度；最后，基于上述計(jì)算結(jié)果設(shè)計(jì)疲勞預(yù)警機(jī)制反饋預(yù)警信號。

1.2.1??輕量化人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)

考慮到生產(chǎn)制造領(lǐng)域的作業(yè)空間復(fù)雜和活動(dòng)區(qū)域有限，為保證算法易部署，采用結(jié)合HOG特征提取算法和支持向量機(jī)的人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)具有輕量化、高實(shí)時(shí)性、易部署等特點(diǎn)。人臉關(guān)鍵點(diǎn)檢測過程如下：

1） 將輸入的人臉圖像分解成N個(gè)尺寸固定的區(qū)域塊，并計(jì)算梯度信息；

2） 根據(jù)梯度方向?qū)⒚總€(gè)區(qū)域塊的梯度信息劃分為9個(gè)區(qū)間，并計(jì)算梯度直方圖；

3） 將每個(gè)區(qū)間梯度直方圖特征輸入到支持向量機(jī)進(jìn)行訓(xùn)練和測試，得到68個(gè)人臉的關(guān)鍵點(diǎn)。

1.2.2 ?Perclos算法

基于人臉關(guān)鍵點(diǎn)，利用眼睛及嘴巴的開合程度判斷是否發(fā)生眨眼或打哈欠等疲勞性表征活動(dòng)，并利用Perclos算法量化疲勞程度。

1.2.3 ?疲勞預(yù)警機(jī)制

當(dāng)眼睛開合程度達(dá)到瞳孔面積的80%時(shí)，認(rèn)為完成一次閉眼；當(dāng)嘴巴開合程度達(dá)到80%時(shí)，認(rèn)為完成一次打哈欠。統(tǒng)計(jì)每一幀中閉眼和打哈欠的幀數(shù)，若Perclos值超過70%，則認(rèn)為已達(dá)到疲勞閾值，發(fā)出疲勞警告；否側(cè)，持續(xù)輸出Perclos的量化結(jié)果，疲勞預(yù)警流程圖如圖3所示。

1.3 ?隱私保護(hù)策略

為了保護(hù)作業(yè)人員隱私和商業(yè)數(shù)據(jù)，本文通過對分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)進(jìn)行通道剪枝，完成模型壓縮，以便部署于邊緣計(jì)算設(shè)備，實(shí)現(xiàn)安全、快速、穩(wěn)定的專注性檢測。

1.3.1 ?模型剪枝與壓縮

在卷積神經(jīng)網(wǎng)絡(luò)中，比例因子γ表示批歸一化層的權(quán)值，γ越小，表示該通道對最終結(jié)果的影響越小，該通道的參數(shù)為冗余參數(shù)。因此，本文采用通道剪枝的壓縮算法對分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)進(jìn)行壓縮，通道剪枝過程如圖4所示。

當(dāng)分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)訓(xùn)練完成后，通過稀疏訓(xùn)練對通道比例因子進(jìn)行兩極化。在通道的比例因子接近零時(shí)，表明此通道對檢測結(jié)果的影響可忽略，則去除該通道。圖4中每個(gè)圓圈表示卷積層的一個(gè)通道，根據(jù)預(yù)先設(shè)定的剪枝率p，確定每個(gè)卷積層的剪枝閾值，剪枝過程為

分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)經(jīng)過剪枝后，可以顯著減少參數(shù)個(gè)數(shù)，有效減少過擬合；同時(shí)會出現(xiàn)精度損失，可通過精度微調(diào)進(jìn)行恢復(fù)。

1.3.2 ?邊緣計(jì)算設(shè)備部署

在邊緣側(cè)部署設(shè)備時(shí)，設(shè)備的體積、質(zhì)量、成本是影響作業(yè)空間適用性的關(guān)鍵因素。本文采用Nvidia Jetson Nano為邊緣計(jì)算設(shè)備部署。該設(shè)備搭載128個(gè)Nvidia CUDA核心，四核ARM A57處理器，2 GB運(yùn)

行內(nèi)存，功耗僅為5～10 W，上述特性滿足部署需求。

2??實(shí)驗(yàn)結(jié)果和討論

2.1 ?實(shí)驗(yàn)設(shè)置

分別采集抽煙、喝水和打電話3種分心行為的圖像726幅、954幅、865幅，并使用Labelme進(jìn)行圖像標(biāo)注，將每種分心行為圖像的80%作為訓(xùn)練集，20%作為測試集。

分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)的訓(xùn)練和剪枝壓縮的學(xué)習(xí)率均為，訓(xùn)練迭代次數(shù)均為150，采用隨機(jī)梯度下降算法對網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化。

在硬件配置方面，采用Nvidia DGX-1圖像深度學(xué)習(xí)訓(xùn)練平臺，該平臺部署8張型號為P100的GPU處理器，運(yùn)行內(nèi)存為16 GB。所有實(shí)驗(yàn)均采用Ubuntu18.04操作系統(tǒng)，基于Pytorch框架、OpenCV、NumPy等開源庫完成。

2.2 ?評價(jià)指標(biāo)

為了評估本文方法的有效性，分別采用準(zhǔn)確率（AP）、模型尺寸和推理速度（frame per second， FPS）作為評價(jià)指標(biāo)，其中準(zhǔn)確率計(jì)算公式為

式中：TP為正確識別分心行為或疲勞行為的視頻幀數(shù)，FP為將正常行為的視頻幀誤識別成分心行為或疲勞行為的幀數(shù)。

2.3 ?實(shí)驗(yàn)結(jié)果與討論

為驗(yàn)證本文方法性能的優(yōu)越性，分別采用Faster RCNN（F-RCNN）^[12]、YOLOv3^[13]、YOLOv5l三種方法與本文方法進(jìn)行對比實(shí)驗(yàn)。在測試集上的實(shí)驗(yàn)結(jié)果如表1所示。

由表1可知，本文方法經(jīng)過模型壓縮后，尺寸僅為8.3 MB，疲勞行為檢測和分心行為檢測的準(zhǔn)確率分別為98.6%、99.8%，比F-RCNN、YOLOv3、YOLOv5l取得更優(yōu)的性能。因此，本文方法不僅在模型的大小、精度上滿足實(shí)際應(yīng)用需求，而且部署在邊緣計(jì)算設(shè)備的推理速度也滿足工業(yè)生產(chǎn)要求。

3 ?結(jié)論

本文針對生產(chǎn)作業(yè)過程中，作業(yè)人員注意力不集中導(dǎo)致生產(chǎn)事故的問題，提出一種結(jié)合深度學(xué)習(xí)和邊緣計(jì)算的作業(yè)人員專注性檢測方法。該方法通過分心行為檢測網(wǎng)絡(luò)和疲勞行為檢測網(wǎng)絡(luò)，實(shí)現(xiàn)作業(yè)人員的實(shí)時(shí)專注性評估，并基于通道剪枝的壓縮算法將模型部署于邊緣計(jì)算設(shè)備上，避免隱私泄露。

參考文獻(xiàn)

[1] 黃海豐，劉培森，李擎，等.協(xié)作機(jī)器人智能控制與人機(jī)交互研究綜述[J].工程科學(xué)學(xué)報(bào)，2022，44（4）：780-791.

[2] 游青山，冉霞.基于機(jī)器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)[J].自動(dòng)化與信息工程，2021，42（4）：20-24.

[3] 于云峰，金葆青.機(jī)械自動(dòng)化制造系統(tǒng)的思考探析和構(gòu)建[J].現(xiàn)代制造技術(shù)與裝備，2021，57（9）：184-186.

[4] 孫劍，張一豪，王俊驊.基于自然駕駛數(shù)據(jù)的分心駕駛行為識別方法[J].中國公路學(xué)報(bào)，2020，33（9）：225-235.

[5] 尹智帥，鐘恕，聶琳真，等.基于人體姿態(tài)估計(jì)的分心駕駛行為檢測[J].中國公路學(xué)報(bào)，2022，35（6）：312-323.

[6] 周建亮，陳瑋，范麗萍.基于生理指標(biāo)的建筑工人攀登作業(yè)疲勞實(shí)驗(yàn)研究[J].中國安全生產(chǎn)科學(xué)技術(shù)，2023，19（3）：195-202.

[7] ZHAO M， BEURIER G， WANG H， et al. In vehicle diver postural monitoring using a depth camera kinect[R]. SAE Technical Paper， 2018.

[8] Jocher G， Chaurasia A， Stoken A， et al. ultralytics/yolov5： v7. 0-yolov5 sota realtime instance segmentation[J]. Zenodo， 2022.

[9] 張青春，吳崢，周玲，等.基于改進(jìn)YOLOv5的車輛與行人目標(biāo)識別方法[J].中國測試，2023，49（7）：82-88.

[10] 鄭楚偉，林輝，吳曉明，等.基于自適應(yīng)空間特征融合的YOLOv5安全帽檢測系統(tǒng)設(shè)計(jì)[J].機(jī)電工程技術(shù)，2022， 51（9）：37-42.

[11] SOMMER D， GOLZ M. Evaluation of PERCLOS based current fatigue monitoring technologies[C]//2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. IEEE， 2010： 4456-4459.

[12] Ren S， He K， Girshick R， et al. Faster r-cnn： Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems， 2015， 28.

[13] LI C， WANG R， LI J， et al. Face detection based on YOLOv3[C]//Recent Trends in Intelligent Computing， Com-munication and Devices： Proceedings of ICCD 2018. Springer Singapore， 2020： 277-284.

作者簡介：

趙彥龍，男，1984年生，碩士研究生，工程師，主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)、人工智能、大數(shù)據(jù)。E-mail： 757477184@qq.com

趙三偉，男，1984年生，碩士研究生，高級工程師，主要研究方向：雷達(dá)信號處理、抗干擾技術(shù)、目標(biāo)分類識別。??????????E-mail：?277314744@qq.com

閆偉才（通信作者），男，1985年生，碩士研究生，高級工程師，主要研究方向：無線通信。E-mail： yanweicai@foxmail.com

鐘震宇，男，1971年生，博士研究生，研究員，主要研究方向：深度學(xué)習(xí)、人工智能、大數(shù)據(jù)。E-mail： zy.zhong@giim.ac.cn