張 淦， 周曉潔， 郭辰顥， 原毅璨， 吳 迪， 郭聖煜

(中國地質(zhì)大學(xué)(武漢) a. 經(jīng)濟(jì)管理學(xué)院; b.機(jī)械與電子信息學(xué)院， 湖北 武漢 430074)

起重作業(yè)具有設(shè)備體積龐大、操作視野盲區(qū)多、作業(yè)覆蓋范圍廣和作業(yè)環(huán)境復(fù)雜等特點，人 - 機(jī)交互過程中容易發(fā)生如物體打擊類等嚴(yán)重的安全事故[1]，屬于典型的高風(fēng)險施工場景。起重吊裝指揮手勢信號是該場景下信號工與起重機(jī)駕駛員之間常用的交流方式，用于嘈雜施工環(huán)境下傳遞信息，消除盲區(qū)碰撞等施工風(fēng)險。但是，實際交流過程中常因手勢信號不規(guī)范、交流視野被遮擋和人員注意力不集中等問題引發(fā)安全事故[2]。因此，探究起重吊裝指揮手勢信號的自動識別，降低因交流問題引發(fā)安全事故的概率，對提高工程安全管理水平具有重要意義。

起重吊裝指揮手勢信號主要由手臂和手的動作共同完成。識別指揮手勢信號需要對動作發(fā)出者的空間信息和運動信息進(jìn)行提取,再根據(jù)這兩種信息進(jìn)行動作分類。當(dāng)前提取這兩種信息的方式主要有接觸式識別和非接觸式識別兩種[3]。相比于基于穿戴式傳感器設(shè)備的接觸式識別[4]，基于計算機(jī)視覺(Computer Vision,CV)的非接觸式識別抗環(huán)境干擾能力強(qiáng)，識別準(zhǔn)確率高，以及識別過程對被識別者正常工作影響小，適用于起重作業(yè)過程的手勢信號自動識別。當(dāng)前利用CV技術(shù)識別指揮手勢信號的研究被廣泛應(yīng)用于交通[5]、軍事[6]、采礦業(yè)[7]等領(lǐng)域。在工程領(lǐng)域的應(yīng)用主要集中在工人姿態(tài)評估[8]、績效評估、施工現(xiàn)場火焰檢測[10]等方面。針對人 - 機(jī)交互高風(fēng)險場景下指揮手勢信號識別的研究正在興起[11]。Wang等對比了各領(lǐng)域指揮手勢識別的研究，討論了在工程領(lǐng)域利用CV技術(shù)識別指揮手勢信號的可行性[12]，并提出基于ResNeXt的指揮手勢信號目標(biāo)識別機(jī)制[13]。這些研究重點在于準(zhǔn)確識別指揮手勢信號，在識別速度上關(guān)注不足。文中將綜合考慮指揮手勢信號識別的準(zhǔn)確率和速度，使其滿足實際工程應(yīng)用中實時性等方面的需求。

本文按照國家標(biāo)準(zhǔn)分類指揮手勢信號，提出基于混合卷積神經(jīng)網(wǎng)絡(luò)(Mixed Convolutional Neural Network，MCN)的起重吊裝指揮手勢信號識別模型，建立指揮手勢信號識別 - 確認(rèn)機(jī)制。提高信號傳遞的準(zhǔn)確性和穩(wěn)定性，全過程記錄信號員和駕駛員的行為，預(yù)防起重作業(yè)中因交流問題導(dǎo)致事故，方便事故后的分析和責(zé)任認(rèn)定，提高工程安全管理水平。

1 起重吊裝指揮手勢信號

2019年12月10日國家市場監(jiān)督管理總局和國家標(biāo)準(zhǔn)化管理委員會聯(lián)合發(fā)布中華人民共和國國家標(biāo)準(zhǔn)GB/T 5082—2019《起重機(jī)手勢信號》[14]，標(biāo)準(zhǔn)正文中規(guī)定了用于起重吊裝操作的25種指揮手勢信號。表1列出了其中部分指揮手勢信號。將指揮手勢信號按照是否為連續(xù)動作，劃分成動態(tài)指揮手勢信號和靜態(tài)指揮手勢信號2種，具體劃分情況如表2所示，可以看出起重吊裝操作的指揮手勢信號大多由連續(xù)的動作組成，故不同種類的指揮手勢信號需要根據(jù)其空間特征和運動特征進(jìn)行區(qū)分。

表1 指揮手勢信號(部分)

表2 動靜態(tài)指揮手勢信號劃分情況

2 MCN算法

傳統(tǒng)2D卷積神經(jīng)網(wǎng)絡(luò)無法提取視頻幀之間包含的運動信息[15]。預(yù)先提取光流圖[16]或人體骨骼關(guān)鍵點[17]等，再通過2D卷積提取運動信息，這類模型雖展現(xiàn)了良好的性能，但復(fù)雜的預(yù)處理增加了計算量，導(dǎo)致識別速度慢。借助體感攝像設(shè)備采集人體骨骼關(guān)鍵點[18]，存在識別距離的限制。3D卷積神經(jīng)網(wǎng)絡(luò)[15](3D Convolutional Neural Network, C3D)中的3D卷積核可以同時提取單個視頻幀的空間信息和多個相鄰視頻幀之間的運動信息。3D卷積核是2D卷積核在時間軸上的拓展，將多幀視頻幀圖像在z軸上進(jìn)行疊加，得到一個圖像組，3D卷積核以滑動窗口的形式分別在圖像組的x,y,z軸上逐一進(jìn)行卷積計算，得到特征圖像組。C3D的計算流程如圖1所示。

圖1 C3D計算流程

Tran等[19]認(rèn)為C3D的高層特征相比于低層特征包含較少的運動信息，基于此構(gòu)建了MCN。MCN將C3D中高層的卷積層(Convolutional Layer,Conv)由3D卷積核換成2D卷積核。以微小的性能損失，大幅度減少網(wǎng)絡(luò)參數(shù)量。同時為保證深度網(wǎng)絡(luò)的性能表現(xiàn)，引入殘差塊結(jié)構(gòu)(ResBlock)。

MCN由1個底層模塊(Stem Module, SM)、2個3D殘差卷積模塊(3D Residual Convolutional Module, 3D-RCM)，6個2D殘差卷積模塊(2D Re-sidual Convolutional Module, 2D-RCM)，1個平均池化模塊(Average Pooling Module, APM)、1個全連接模塊(Full Connected Module, FCM)，共11個模塊組成。由FCM根據(jù)RCM提取的空間信息和運動信息，對視頻動作進(jìn)行識別分類。RCM的具體結(jié)構(gòu)如圖2所示(圖中：Conv為2D/3D卷積層；BN為批歸一化層；ReLU為激活函數(shù)層)，MCN的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。MCN具體參數(shù)如表3所示。

圖2 RCM結(jié)構(gòu)

表3 MCN結(jié)構(gòu)詳述

圖3 MCN結(jié)構(gòu)

3 指揮手勢信號識別模型

起重吊裝指揮手勢信號識別模型的建立包括指揮手勢信號數(shù)據(jù)集構(gòu)建和模型訓(xùn)練兩部分。將MCN在指揮手勢信號數(shù)據(jù)集中訓(xùn)練后，得到起重吊裝指揮手勢信號識別模型。

3.1 指揮手勢信號數(shù)據(jù)集

按照國家標(biāo)準(zhǔn)中的規(guī)范動作，構(gòu)建指揮手勢信號數(shù)據(jù)集。為提高模型的泛化能力，每種指揮手勢信號由多名信號員在不同環(huán)境下，以左側(cè)45°、正視、右側(cè)45°三個角度，以不同速率執(zhí)行多次。指揮手勢信號數(shù)據(jù)集如圖4所示。

圖4 指揮手勢信號數(shù)據(jù)集樣例(部分)

3.2 模型訓(xùn)練

模型訓(xùn)練前需要對數(shù)據(jù)進(jìn)行預(yù)處理操作：(1)對輸入視頻進(jìn)行抽幀處理；(2)為減少模型參數(shù)，且不損失視頻幀中主要空間信息和運動信息，將視頻幀尺寸縮放為h×w=128×171；(3)提高模型的泛化能力和抗干擾性。在不影響動作流暢的前提下，將128×171的圖像在一定波動范圍內(nèi)隨機(jī)裁剪成112×112；(4)考慮到起重吊裝指揮手勢信號的動作持續(xù)時間稍長，為保證模型能夠?qū)W習(xí)到完整的運動信息，將16幀視頻幀組合成一個圖像組，即l=16。

由于MCN采用3D卷積核的網(wǎng)絡(luò)，參數(shù)量較大，訓(xùn)練需要大量數(shù)據(jù)，否則無法發(fā)揮網(wǎng)絡(luò)的完整性能，同時訓(xùn)練過程中可能出現(xiàn)過擬合現(xiàn)象。為此，對模型進(jìn)行遷移學(xué)習(xí)，在大型基準(zhǔn)數(shù)據(jù)集Kinetics-400上進(jìn)行預(yù)訓(xùn)練，再將模型在指揮手勢信號數(shù)據(jù)集上微調(diào)，以提高模型在小型數(shù)據(jù)集上的表現(xiàn)。

訓(xùn)練過程中，選擇交叉熵函數(shù)作為損失函數(shù)。選擇隨機(jī)梯度下降算法作為梯度優(yōu)化算法，其中初始學(xué)習(xí)率為10-3，動量為0.9，權(quán)重衰減為5×10-4。為避免出現(xiàn)過擬合或梯度消失問題，訓(xùn)練過程中添加學(xué)習(xí)率衰減機(jī)制，衰減周期為10，衰減系數(shù)為0.9。批處理量為4，訓(xùn)練周期為60。

4 指揮手勢信號識別 - 確認(rèn)機(jī)制

為了利用起重吊裝指揮手勢識別模型降低因指揮手勢信號不規(guī)范、交流視野被遮擋、人員注意力不集中等問題引發(fā)安全事故的概率，提高安全管理水平。筆者構(gòu)建了指揮手勢信號識別 - 確認(rèn)機(jī)制。該機(jī)制的框架由作業(yè)準(zhǔn)備模塊、信號識別模塊、信號確認(rèn)模塊、數(shù)據(jù)記錄模塊四部分組成。機(jī)制流程如圖5所示。

圖5 起重吊裝指揮手勢信號識別 - 確認(rèn)機(jī)制流程

首先，在起重吊裝作業(yè)開始前，駕駛員需對作業(yè)環(huán)境進(jìn)行檢查，判斷在自己的視野中信號工的位置和姿態(tài)是否清晰可辨。如果難以辨識，需要向現(xiàn)場安全管理人員申請使用視覺輔助工具，在信號工周圍布置監(jiān)控設(shè)備。同時在起重機(jī)駕駛艙處布置監(jiān)控設(shè)備，監(jiān)控視角與駕駛員相同。駕駛員輔以監(jiān)控畫面觀察信號工的指揮命令。待駕駛員能夠清晰觀察到信號工的姿態(tài)及位置后，申請作業(yè)開始。

信號員發(fā)出吊裝指揮手勢信號，攝像頭實時采集指揮手勢信號視頻圖像，然后利用基于MCN的起重吊裝指揮手勢信號識別模型對指揮手勢信號進(jìn)行識別，將模型識別的結(jié)果與直接觀察的結(jié)果進(jìn)行對比。若結(jié)果相同則執(zhí)行命令，同時保存視頻片段、模型識別結(jié)果和操作內(nèi)容，用于未來事故調(diào)查。若結(jié)果不同，則說明存在問題，需要保存問題視頻片段，用于后期問題分析：若是模型問題，需要對模型進(jìn)一步優(yōu)化；若是指揮手勢信號不規(guī)范問題，需要對信號員進(jìn)行動作糾正指導(dǎo)。

起重吊裝作業(yè)環(huán)境復(fù)雜，操作端與指揮端未必處于同一水平面，有線傳輸視頻數(shù)據(jù)難以滿足應(yīng)用需求。操作端與指揮端處于同一連通空間中，操作端與指揮端之間的距離較近，建筑結(jié)構(gòu)對無線信號的干擾較小，采用無線傳輸方式可以滿足起重吊裝作業(yè)中視頻圖像實時傳輸?shù)男枨蟆?/p>

該機(jī)制的設(shè)計不會干擾起重機(jī)吊裝作業(yè)的正常進(jìn)行，可以輔助駕駛員明確操作指令，糾正信號員不規(guī)范的指揮手勢信號動作，對吊裝作業(yè)全過程進(jìn)行視頻監(jiān)控。若后期發(fā)生安全事故，可根據(jù)視頻片段、模型識別結(jié)果、駕駛員操作內(nèi)容三部分，進(jìn)行事故分析和事故追責(zé)。明確事故責(zé)任，減少由于信號溝通問題引起的安全風(fēng)險，提高施工現(xiàn)場安全管理水平。

5 案例分析

5.1 構(gòu)建數(shù)據(jù)集

選取國家標(biāo)準(zhǔn)中操作開始、正常停止、勻速起升、慢速起升、勻速下降5種指揮手勢信號，再加上無任何指令動作的站立動作，共6種動作種類。構(gòu)建指揮手勢信號數(shù)據(jù)集，將數(shù)據(jù)集按照7∶1∶2的比例，劃分成訓(xùn)練集(Train)、檢驗集(Val)和測試集(Test)，共計1495個視頻數(shù)據(jù)，各類動作的樣本數(shù)滿足均勻分布。數(shù)據(jù)集劃分情況如表4所示。用以驗證基于MCN的起重吊裝指揮手勢信號識別模型在起重機(jī)作業(yè)中的適用性。

表4 數(shù)據(jù)集劃分情況

5.2 模型效果檢驗

MCN的識別性能如表5所示，MCN在測試集上的準(zhǔn)確率為97.13%。除“立正動作”外，各手勢信號種類預(yù)測結(jié)果的準(zhǔn)確率均高于96%。各手勢信號種類的召回率均高于95%，其中，對于動作特征顯著的正常停止和操作開始兩種手勢信號的召回率達(dá)到了98%以上。MCN的識別效果如圖6所示。

表5 MCN的識別準(zhǔn)確率統(tǒng)計 %

圖6 MCN識別效果

MCN與其他3D卷積類網(wǎng)絡(luò)的性能對比如表6所示。MCN的參數(shù)量為C3D的14.7%，R3D的34.7%，R(2+1)D的36.7%。在硬件條件有限的情況下，MCN在準(zhǔn)確率、識別速度和參數(shù)上都優(yōu)于其他3D卷積類網(wǎng)絡(luò)。實際識別中，在使用GTX 1650加速條件下，MCN網(wǎng)絡(luò)運算速度平均73 ms，平均13.7 fps。在使用RTX 2060 SUPER加速條件下，網(wǎng)絡(luò)速度可以達(dá)到36.9 ms，實時識別時可達(dá)27.1 fps。在不使用GPU加速的情況下，運算速度平均333.3 ms，平均3.0 fps。MCN網(wǎng)絡(luò)在硬件條件允許的情況下，基本具有實時識別的能力。

表6 MCN與其他3D卷積類網(wǎng)絡(luò)的性能對比情況

6 結(jié) 論

本文主要研究結(jié)論如下：

(1)基于MCN的起重吊裝指揮手勢信號識別模型在各種環(huán)境下均表現(xiàn)出了較好的識別準(zhǔn)確率，同時模型參數(shù)量少，識別速度快，適用于起重機(jī)作業(yè)中吊裝指揮手勢信號的實時識別。

(2)指揮手勢信號識別 - 確認(rèn)機(jī)制可有效提高起重吊裝信號的傳遞準(zhǔn)確性和穩(wěn)定性，對不規(guī)范的指揮手勢信號動作進(jìn)行糾正，降低起重機(jī)作業(yè)過程中因交流問題導(dǎo)致工程安全事故發(fā)生的風(fēng)險。對信號員和駕駛員的行為進(jìn)行全過程監(jiān)控，發(fā)生安全事故后，可根據(jù)視頻片段、模型識別結(jié)果、駕駛員操作內(nèi)容三部分，進(jìn)行事故分析和事故追責(zé)，提高安全管理質(zhì)量。

(3)文中研究仍存有一些不足，包括識別畫面中若運動物體較多，會對識別準(zhǔn)確性造成一定影響；數(shù)據(jù)集的動作種類有待豐富；指揮端在多場景變換時，需要根據(jù)變換程度，人工調(diào)整視頻畫面采集角度和距離。未來研究擬搭建更輕量化的模型，對視頻中動作發(fā)出者的區(qū)域進(jìn)行抽取，明確識別對象，減少外界噪音對準(zhǔn)確度的影響；豐富模型的動作識別種類；指揮端多場景變換視頻時，實現(xiàn)視頻畫面采集角度和距離的自動調(diào)整。