姜佩奇，梁斌杰，劉 輝，張社榮，王梟華，王 超

(1.天津大學(xué)水利工程智能建設(shè)與運維全國重點實驗室&建筑工程學(xué)院，天津 300072；2.水利部水利水電規(guī)劃設(shè)計總院，北京 100120；3.中水北方勘測設(shè)計研究有限責(zé)任公司，天津 300222)

0 引言

水利工程由于其施工環(huán)境惡劣、施工工期長、交叉作業(yè)情況復(fù)雜等特點，建設(shè)過程中風(fēng)險因素眾多，其中危險區(qū)域(如臨邊、洞口、塔吊周圍)作為普遍存在但常易忽略的風(fēng)險因素，當(dāng)施工人員處于其中時易發(fā)生高處墜落、碰撞等安全事故，威脅施工安全。因此，如何有效實現(xiàn)施工人員靠近風(fēng)險區(qū)域的危險行為預(yù)警對施工安全管理水平的提升具有重要意義[1-2]。

靠近危險區(qū)域的判別關(guān)鍵在于如何快速確定施工人員與危險區(qū)域的位置關(guān)系，若處于其中，施工人員可能會存在危險。隨著計算機視覺、建筑信息模型(Building Information Modeling，BIM)、射頻識別(Radio Frequency Identification，RFID)等技術(shù)的快速發(fā)展與應(yīng)用，不少學(xué)者也利用其展開了眾多研究[3-5]。閆文杰等[6]集成BIM與RFID技術(shù)，對水利工程現(xiàn)場的危險區(qū)域和作業(yè)人員進行實時監(jiān)控，實現(xiàn)了危險區(qū)域內(nèi)工人安裝狀態(tài)的判定和預(yù)警。王偉等[7]利用BIM與機器視覺技術(shù)，構(gòu)建了危險區(qū)域施工人員入侵預(yù)警模型，降低了危險區(qū)域入侵行為的發(fā)生。高寒等[8]利用移動目標(biāo)檢測算法對危險區(qū)域工人進行檢測，實現(xiàn)了危險區(qū)域的入侵識別。石懷濤等[9]通過改進YOLOv3網(wǎng)絡(luò)對吊車危險區(qū)域內(nèi)的施工人員進行識別，并利用相機坐標(biāo)變換實現(xiàn)了施工人員與危險區(qū)域中心點距離的測算并進行行為矯正，減少吊車安全事故的發(fā)生。田楓等[10-11]通過利用改進YOLO檢測算法，實現(xiàn)對油田危險區(qū)域的入侵檢測。Fang等[12]通過利用Mask R-CNN模型識別現(xiàn)場施工人員和結(jié)構(gòu)支撐，實現(xiàn)了在深基坑施工中施工人員穿過結(jié)構(gòu)支撐的不安全行為識別。樊啟祥等[13-15]在大型水電工程施工安全管理過程中，提出綜合利用GIS技術(shù)、定位軌跡分析技術(shù)、RFID、GPS/北斗+實時差分等技術(shù)，實現(xiàn)了施工現(xiàn)場人員和機械設(shè)備的實時定位，并利用電子圍欄技術(shù)，實現(xiàn)了自動監(jiān)控和非法進入電子圍欄范圍等的不安全行為管控。

在靠近危險區(qū)域預(yù)測方面，Zhu等[16]利用卡爾曼濾波算法來實時定位和預(yù)測施工人員和機械的位置，進而判斷未來施工人員的軌跡是否處于機械易碰撞區(qū)域，從而實現(xiàn)對人機碰撞風(fēng)險的預(yù)測。方偉立和丁烈云[17]構(gòu)建工人不安全行為智能識別與矯正框架體系，主要由不安全行為智能識別、安全個性化培訓(xùn)和不安全行為預(yù)測3部分組成。

綜上，目前針對靠近風(fēng)險區(qū)域的危險行為管控大多為事中和事后的過程，即在正侵入和侵入后實現(xiàn)對施工人員是否處于危險區(qū)域的判斷，可能會發(fā)生報警不及時而導(dǎo)致在危險區(qū)域內(nèi)發(fā)生安全事故，造成人員傷亡。而對事前靠近風(fēng)險區(qū)域不安全行為預(yù)測研究較少，對施工人員未來的軌跡預(yù)測時間和距離較短，預(yù)警效果還有待提高。并且施工人員定位通常采用的是GPS或RFID，定位雖然比計算機視覺定位準(zhǔn)確，但需時刻佩戴相應(yīng)傳感器，成本高且在實踐中不易實現(xiàn)。

針對上述問題，本文基于計算機視覺與深度學(xué)習(xí)技術(shù)，提出一種水利施工人員靠近風(fēng)險區(qū)域的危險行為預(yù)測方法。首先利用DeepSORT算法構(gòu)建施工人員多目標(biāo)追蹤模型，對現(xiàn)場施工人員進行多目標(biāo)追蹤的同時，收集其運動軌跡。然后，篩選場區(qū)施工人員行動軌跡，基于Social-STGCNN算法構(gòu)建施工人員軌跡預(yù)測模型，實現(xiàn)施工人員軌跡預(yù)測，對未來不同時刻的運動軌跡進行預(yù)測。最后，基于AI電子圍欄，對危險區(qū)域進行標(biāo)記，判斷預(yù)測后的軌跡是否處于風(fēng)險區(qū)域當(dāng)中，從而實現(xiàn)靠近危險區(qū)域的危險行為預(yù)警，在一定程度上預(yù)防不安全行為的發(fā)生。

1 靠近風(fēng)險區(qū)實時預(yù)警方法關(guān)鍵技術(shù)

1.1 總體技術(shù)架構(gòu)

鑒于現(xiàn)有人員危險行為的管理通常集中在事件發(fā)生中或之后，本文提出了一種預(yù)先管控的方法，該方法可以在施工人員實際進入危險區(qū)域之前，預(yù)測并預(yù)警其潛在的入侵行為，有效避免報警不及時而導(dǎo)致在危險區(qū)域內(nèi)發(fā)生安全事故?；谟嬎銠C視覺和深度學(xué)習(xí)的施工人員靠近風(fēng)險區(qū)實時預(yù)警模型如圖1所示，主要由3個模塊組成，包括：基于改進YOLOv5+DeepSORT的多目標(biāo)追蹤模塊[18]、基于Social-STGCNN的軌跡預(yù)測模塊、以及基于PNPoly的靠近風(fēng)險區(qū)預(yù)警模塊。本文所提出的實時預(yù)警模型能有效預(yù)測施工人員軌跡，結(jié)合風(fēng)險區(qū)電子圍欄進行風(fēng)險分析與預(yù)警，有效保障施工人員作業(yè)安全。

圖1 靠近風(fēng)險區(qū)實時預(yù)警總體技術(shù)架構(gòu)

1.2 改進的場區(qū)施工人員多目標(biāo)追蹤方法

DeepSORT[19]是目前主流的一種多目標(biāo)追蹤算法，基于detection+track多目標(biāo)追蹤思路，在SORT算法的基礎(chǔ)上增加外觀信息度量，并結(jié)合運動信息避免目標(biāo)ID切換過多。同時，目標(biāo)檢測模型的精度直接影響DeepSORT算法對施工人員追蹤的準(zhǔn)確性。為了實現(xiàn)準(zhǔn)確的施工人員目標(biāo)追蹤，良好的施工人員目標(biāo)檢測模型必不可少。本文提出的改進YOLOv5+DeepSORT的多目標(biāo)追蹤算法，通過SIOU[20]損失函數(shù)替換CIOU損失函數(shù)(如公式(1)、(2)所示)、增加小目標(biāo)檢測層和引入NAM注意力機制的方式改進YOLOv5算法，并以改進的YOLOv5算法作為DeepSORT算法的檢測器。改進YOLOv5算法中重新設(shè)計了通道和空間注意力子模塊，將NAM模塊嵌入每個網(wǎng)絡(luò)的末端。

(1)

(2)

式中，B、BGT-預(yù)測框與真值框；Ω-形狀成本；Δ-考慮角度成本后，重新定義的距離成本。

其次，DeepSORT算法引入級聯(lián)匹配，通過計算預(yù)測目標(biāo)與檢測目標(biāo)之間的馬氏距離(d(1))和余弦距離(d(2))獲取代價矩陣，從而提高了目標(biāo)匹配的精度。

(3)

(4)

ci，j=λd(1)(i，j)+(1-λ)d(2)(i，j)

(5)

式中，λ-調(diào)和因子，用于平衡馬氏距離與余弦距離。當(dāng)代價矩陣ci，j滿足兩種距離閾值要求時匹配成功。

1.3 場區(qū)施工人員軌跡預(yù)測方法

施工人員軌跡預(yù)測問題與行人軌跡預(yù)測相似，主要針對其二維空間坐標(biāo)在一定時間內(nèi)的變化，并通過利用施工人員前一段時間的軌跡來預(yù)測未來一段時間的運動軌跡。施工人員的運動軌跡不僅受自身主觀影響，還受周圍其他人、機械等物體的影響。傳統(tǒng)的軌跡預(yù)測算法通常采用各種聚合方法，而本文采用的Social-STGCNN算法則以圖模型的方式代替聚合方法實現(xiàn)建模交互，引入周邊人員、機械等物體的相互作用關(guān)系，準(zhǔn)確度和推理速度有了極大提升[21]。Social-STGCNN模型主要由時空圖卷積網(wǎng)絡(luò)(ST-GCNN)和時間外推卷積網(wǎng)絡(luò)(TXP-CNN)組成，模型結(jié)構(gòu)如圖2所示，前者用于提取施工人員軌跡特征，后者用于預(yù)測施工人員未來的運動軌跡[22]，具體流程如下：

圖2 SOCIAL-STGCNN模型結(jié)構(gòu)圖

(6)

其次，采用相同方法構(gòu)建時間圖，時間圖矩陣內(nèi)的邊信息為同一施工人員在一段連續(xù)時間內(nèi)的空間厚實距離加權(quán)值，如公式(7)所示，即邊信息不再存儲不同施工人員間的關(guān)系。

(7)

(2)二維時空圖卷積處理。為獲取時間軸特征，對輸入的時間序列鄰接矩陣進行堆棧處理[25]，則時空圖卷積過程可表示為公式(8)，由此可得場區(qū)施工人員軌跡的時空特征矩陣。

(8)

(3)時間外推卷積處理。由TXP-CNN處理時序序列數(shù)據(jù)，按照時序信息進行一維卷積操作，通過因果卷積記錄并利用軌跡的時間信息，預(yù)測場區(qū)施工人員行動軌跡。

1.4 場區(qū)施工人員鄰近風(fēng)險區(qū)預(yù)警

基于場區(qū)施工人員的預(yù)測軌跡，使用Mask掩膜來識別和提取危險區(qū)域，建立電子圍欄。由于增加Mask掩膜會使危險區(qū)域外的場景不進行目標(biāo)檢測，降低改進YOLOv5目標(biāo)檢測算法的精度，因此本文在保留危險區(qū)域標(biāo)注的同時，去除遮蓋效果，使算法仍可對其他區(qū)域進行目標(biāo)檢測。

同時，基于場區(qū)施工人員的預(yù)測軌跡，采用PNPoly算法，判斷預(yù)測軌跡坐標(biāo)是否處于風(fēng)險區(qū)電子?xùn)艡趦?nèi)，一旦預(yù)測軌跡處于風(fēng)險區(qū)內(nèi)執(zhí)行預(yù)警處置。

2 實驗和結(jié)果

本文以我國西南地區(qū)某在建大(2)型碾壓混凝土壩工程進行實證分析，該碾壓混凝土壩由擋水壩段、表孔壩段、進水口壩段和壩后電站組成，共分11個壩段。實證分析包括施工人員多目標(biāo)追蹤和施工人員軌跡預(yù)測。

2.1 施工人員多目標(biāo)追蹤

本文以目前公開的多目標(biāo)行人追蹤數(shù)據(jù)集Market1501劃分模型的訓(xùn)練集和驗證集，訓(xùn)練過程持續(xù)300輪，訓(xùn)練集和驗證集上的損失函數(shù)和top-1 error的變化曲線如圖3所示，結(jié)果表明訓(xùn)練集和測試集的loss值最終穩(wěn)定在0.13和0.61，top-1 error最終穩(wěn)定在0.02和0.15。場區(qū)施工人員多目標(biāo)追蹤模型的評價指標(biāo)包括mIOU、mAP@0.5IOU和mAP@0.7IOU，其中AP為精度和召回曲線下的面積，可由公式(1)、(9)和(10)計算得到，其結(jié)果分別為64.9%、86.1%、59.8%。

圖3 訓(xùn)練結(jié)果曲線

precision=TP/(TP+FP)

(9)

recall=TP/(TP+FN)

(10)

式中，TP-被準(zhǔn)確追蹤的工人數(shù)量；FP-被錯誤追蹤的工人數(shù)量；FN-未能追蹤的人工數(shù)量。

其次，以施工現(xiàn)場實時監(jiān)控圖像作為多目標(biāo)追蹤模型的測試集，改進的YOLOv5+DeepSORT算法會對每一個追蹤分配一個唯一且持續(xù)不變的編號ID，在同一幅圖像中設(shè)定ID標(biāo)號從1開始計數(shù)，標(biāo)號最大數(shù)則為檢測目標(biāo)的總?cè)藬?shù)。施工現(xiàn)場監(jiān)控視頻施工人員多目標(biāo)追蹤效果如圖4所示。

2.2 施工人員軌跡預(yù)測

2.2.1數(shù)據(jù)集準(zhǔn)備

目前針對人員軌跡預(yù)測任務(wù)的公開數(shù)據(jù)集較少，僅有幾個俯視視角的小型數(shù)據(jù)集。其中ETH和UCY[23]組合數(shù)據(jù)作為開源的公共數(shù)據(jù)集，包含5個不同場景，2206條人體運動軌跡，數(shù)據(jù)采樣間隔為10幀，數(shù)據(jù)中包含幀索引、行人編號、位置坐標(biāo)。但由于該數(shù)據(jù)集針對日常生活場景，與施工現(xiàn)場人員軌跡有較大差別。因此本文基于構(gòu)建的施工人員多目標(biāo)追蹤模型，對施工人員進行軌跡追蹤，獲取其在一段時間內(nèi)的像素軌跡，為施工人員軌跡預(yù)測提供數(shù)據(jù)來源。本文采集的視頻幀率為25Hz，以10幀為采樣間隔(即每0.4s)，以前3.2s的軌跡數(shù)據(jù)來預(yù)測后4.8s運動軌跡，能有效改善數(shù)據(jù)的獨立同分布性質(zhì)。

本文以目標(biāo)檢測框的形心坐標(biāo)來表示當(dāng)前時刻施工人員所處位置，通過將一段時間內(nèi)連續(xù)的形心坐標(biāo)進行相連即可表示施工人員的軌跡。通過收集和篩選，共獲得1534條數(shù)據(jù)。施工人員多目標(biāo)追蹤模型獲取得到的典型施工人員軌跡坐標(biāo)見表1。

表1 典型施工人員多目標(biāo)追蹤軌跡坐標(biāo) 單位：像素

2.2.2評價指標(biāo)

軌跡預(yù)測任務(wù)主要使用平均位移誤差(Average Displacement Error，ADE)和最終位移誤差(Final Displacement Error，F(xiàn)DE)評價模型性能。其中平均位移誤差是指所有的估計軌跡點與真實軌跡點之間歐式距離的平均值；最終位移誤差是指預(yù)測軌跡終點與實際軌跡終點之間的距離，計算公式如下所示。

(11)

(12)

(13)

(14)

2.2.3模型訓(xùn)練與結(jié)果

利用自建施工人員軌跡數(shù)據(jù)集進行訓(xùn)練，共持續(xù)300輪，然后利用訓(xùn)練形成的模型權(quán)重文件進行預(yù)測性能評價，軌跡預(yù)測誤差見表2、如圖5-6所示，可知預(yù)測誤差隨預(yù)測時長增加而增加，預(yù)測2.0s施工人員軌跡的ADE和FDE值分為22.82像素和34.45像素，而預(yù)測4.8s施工人員軌跡的ADE和FDE值分為36.25像素和51.01像素。

表2 每10幀軌跡預(yù)測誤差

圖5 每隔0.4s間的軌跡預(yù)測平均距離誤差圖

圖6 每隔0.4s間的軌跡預(yù)測最終距離誤差圖

施工人員軌跡預(yù)測可視化效果見圖7，其中藍色線代表預(yù)測軌跡，紅色線代表真實軌跡，紅色線與藍色線完全重合部分代表前8個時間窗口輸入相同的值。根據(jù)圖7可知，本文所構(gòu)建的Social-STGCNN模型可實現(xiàn)對施工人員軌跡的預(yù)測，雖然存有一些偏差，但大體的運動趨勢基本相同，可在一定程度上為不安全行為的預(yù)測起到參考。

圖7 施工人員軌跡預(yù)測結(jié)果可視化

值得注意的是，F(xiàn)DE值隨預(yù)測時間的增長出現(xiàn)波動上升，并非嚴(yán)格意義的正相關(guān)。原因主要由于FDE反應(yīng)的是施工人員在最終時刻的位置關(guān)系，當(dāng)“S”型軌跡出現(xiàn)時，預(yù)測軌跡和真實軌跡差距減小或再次相交，如圖7所示24號施工人員軌跡。

2.3 電子圍欄建立與預(yù)警

關(guān)于靠近風(fēng)險區(qū)預(yù)警模塊，其詳細(xì)流程已在圖1總體技術(shù)架構(gòu)中闡述，PNPoly算法原理可概括為：從一個目標(biāo)點引出一條射線，統(tǒng)計該射線與電子圍欄的交點個數(shù)，若交點數(shù)為奇數(shù)，則說明目標(biāo)點在電子圍欄內(nèi)，進行預(yù)警處置；反之，則說明目標(biāo)點在電子圍欄外，判斷為安全。根據(jù)一般人員的反應(yīng)時間約為0.3s和所提方法的預(yù)警精度，建議預(yù)警時間定為0.8s，此時ADE和FDE分別為12.04、12.96像素，能夠有效保障施工人員安全，避免進入風(fēng)險區(qū)域。

本文根據(jù)Mask掩膜對危險區(qū)域進行標(biāo)注和提取，建立電子圍欄，如圖8所示，電子圍欄以紅色近視區(qū)域表示。結(jié)合PNPoly算法，判斷預(yù)測軌跡坐標(biāo)是否處于風(fēng)險區(qū)電子圍欄的多邊形內(nèi)。一旦預(yù)測軌跡坐標(biāo)點位于風(fēng)險區(qū)多邊形內(nèi)部，會立即觸發(fā)實時預(yù)警，通過紅色警示框、聲音、信息推送等方式進行警示，同時執(zhí)行相應(yīng)的處置措施，如引導(dǎo)施工人員離開風(fēng)險區(qū)域等，為施工現(xiàn)場的施工人員安全管控提供了一種新方法。

圖8 施工人員靠近危險區(qū)域預(yù)警

3 討論

為進一步分析Social-STGCNN軌跡預(yù)測模型的性能，及其對水利工程施工場區(qū)范圍大，人員、機械、材料空間分布復(fù)雜特點的適應(yīng)性，表3將Social-STGCNN與Social-LSTM兩種模型的軌跡預(yù)測性能進行對比?？傮w而言，兩種模型在較短的預(yù)測時間內(nèi)均有較好的軌跡預(yù)測效果，軌跡位置誤差均較小。但相對而言，Social-STGCNN模型通過時空圖卷積網(wǎng)絡(luò)更能挖掘場區(qū)人員、機械、材料空間分布特征。當(dāng)預(yù)測時長為0.8s時，就ADE和FDE指標(biāo)而言，Social-STGCNN比Social-LSTM預(yù)測誤差分別減少約1.55%、4.07%。

表3 不同模型的軌跡預(yù)測對比(ADE/FDE，像素)

但由于水利工程施工場區(qū)范圍廣、軌跡預(yù)測需考慮因素眾多且本文數(shù)據(jù)集較小，預(yù)測軌跡仍存在一定偏差。同時，軌跡監(jiān)測誤差和預(yù)測誤差存在累積效應(yīng)，也可能會導(dǎo)致實時預(yù)警結(jié)果的震蕩。因而，有效提高軌跡監(jiān)測精度是場區(qū)施工人員軌跡預(yù)警的前提，后續(xù)可結(jié)合BIM技術(shù)，進行監(jiān)控視頻與BIM注冊、配準(zhǔn)，提高場區(qū)施工人員定位與預(yù)測精度，同時可基于BIM場景下的場區(qū)機械、材料分布優(yōu)化空間圖構(gòu)建，進一步提升軌跡預(yù)測精度。

4 結(jié)論

本文通過利用實時監(jiān)控、計算機視覺、深度學(xué)習(xí)等技術(shù)，提出了水利施工人員靠近風(fēng)險區(qū)域的危險行為預(yù)警方法，通過工程實例驗證，有效證明了該方法的有效性。本文所提出的方法不僅增加了施工現(xiàn)場行為管理手段，也為水利工程施工現(xiàn)場安全管理提供新方法。主要取得以下成果：

(1)提出了基于軌跡預(yù)測的場區(qū)施工人員靠近風(fēng)險區(qū)域預(yù)警方法。該方法由3個模塊組成，包括：基于改進YOLOv5+DeepSORT的多目標(biāo)追蹤模塊、基于Social-STGCNN的軌跡預(yù)測模塊、以及基于PNPoly的靠近風(fēng)險區(qū)預(yù)警模塊。本文所提出的實時預(yù)警模型能有效預(yù)測施工人員軌跡，結(jié)合風(fēng)險區(qū)電子圍欄進行風(fēng)險分析與預(yù)警，有效保障施工人員作業(yè)安全。

(2)針對水利工程施工場景，構(gòu)建了基于改進YOLOv5+DeepSORT算法的施工人員多目標(biāo)追蹤模型。以改進后的YOLOv5作為目標(biāo)檢測模型，以Market公開數(shù)據(jù)集作為表觀特征提取數(shù)據(jù)集進行訓(xùn)練，訓(xùn)練集和測試集的loss值分別為0.13、0.61，top-1 error分別為0.02、0.15，滿足現(xiàn)場使用需求。

(3)利用構(gòu)建的多目標(biāo)追蹤和軌跡預(yù)測模型，對施工人員進行軌跡收集和預(yù)測，預(yù)測誤差隨預(yù)測時長增加而增加，預(yù)測2.0秒施工人員軌跡的ADE和FDE分為22.82、34.45像素，而預(yù)測4.8秒施工人員軌跡的ADE和FDE分為36.25、51.01像素。但由于軌跡預(yù)測需考慮因素眾多且數(shù)據(jù)集較小，預(yù)測軌跡仍存在一定偏差，后續(xù)可結(jié)合BIM技術(shù)，進一步提升軌跡預(yù)測精度。