李文濤,韓 豫,2,楊 林,李 康

(1.江蘇大學(xué) 土木工程與力學(xué)學(xué)院,江蘇 鎮(zhèn)江 212013;2.江蘇大學(xué) 應(yīng)急管理學(xué)院,江蘇 鎮(zhèn)江 212013)

0 引言

隨著我國建筑業(yè)規(guī)模不斷擴大,施工現(xiàn)場所涉及的人員及機械種類日益繁多。同時,由于建筑施工特有的“空間交叉性”,同一空間內(nèi)可能存在多任務(wù)并行推進的情況。致使現(xiàn)場施工要素排布混亂影響效率進度,甚至于誘發(fā)諸如機械摩擦、人機碰撞等空間沖突事故[1],造成經(jīng)濟損失的同時對人員安全也帶來巨大隱患[2]。

目前,針對空間沖突事故的常規(guī)監(jiān)管手段大多依靠人工,受監(jiān)管人員主觀性干擾及視線盲區(qū)等因素影響,無法對場景內(nèi)各空間危險源及影響對象實現(xiàn)全面有效的管理。為填補上述短板,相關(guān)研究從不同技術(shù)路徑進行了探索。例如,通過4D仿真技術(shù)量化空間資源指標,對施工現(xiàn)場空間沖突科學(xué)分析,并優(yōu)化場地資源配置方案[3-5]。射頻識別(RFID)、全球定位系統(tǒng)(GPS)和超寬帶(UWB)等傳感技術(shù)也被用于實現(xiàn)工程場景目標空間信息感知,從而降低空間安全事故比例[6-8]。但受限于技術(shù)使用成本及工況隨機性等,空間安全問題依舊無法徹底解決。

與此同時,人工智能及計算機視覺相關(guān)技術(shù)的迭代升級,為我們提供1種從視覺層面提取并分析空間尺度信息,從而解決施工空間安全問題的可能性。例如,結(jié)合圖像雙目視差及目標檢測結(jié)果,獲取圖像三維坐標信息,以實現(xiàn)目標的雙目定位與監(jiān)測[9];1種基于Faster R-CNN框架的空間監(jiān)控方法被用來對電網(wǎng)設(shè)施周邊工程車輛進行識別定位,以降低設(shè)施損傷概率[10]。另有學(xué)者結(jié)合目標檢測及坐標變換,對人員進入吊車危險區(qū)域行為進行監(jiān)測并及時做出預(yù)警,以降低有關(guān)事故發(fā)生概率[11]。

研究發(fā)現(xiàn):“人-物-環(huán)-管”多因素共同構(gòu)成險兆事件致因鏈條[12]。而現(xiàn)有方法卻將施工空間沖突問題局限于單一的“距離”指標,對上述幾類險兆要素在空間類事故中的影響缺乏深入理解。針對現(xiàn)有施工空間安全評估手段的短板及實際使用場景需求,本文以土方作業(yè)場景為例,對施工空間沖突險兆特征展開研究?？紤]事故險兆要素的特性,提出1種綜合性檢測方法,對不同狀態(tài)下的人員、設(shè)備進行差異區(qū)分,并通過圖像矯正及變換手段獲得圖像目標在現(xiàn)實場景中的空間信息。最終依托多類空間險兆特征信息實現(xiàn)更為科學(xué)的空間監(jiān)管,進一步提升建筑業(yè)生產(chǎn)效率及施工安全系數(shù)。

1 方案設(shè)計

以土方作業(yè)場景為例,對空間沖突相關(guān)事故案例分析,發(fā)現(xiàn)事故主要原因分為2點:1)安全裝備缺失的人員侵入處于工作中的工程機械作業(yè)范圍;2)機械設(shè)備作業(yè)空間重疊。結(jié)合險兆致因鏈對該場景空間沖突事故險兆特征展開討論,其特征體現(xiàn)為工人安全裝備缺失、機械設(shè)備活動作業(yè)、各施工對象間過近的空間距離。基于此,本文將人員裝備特征、設(shè)備運動狀態(tài)、空間距離同步納入空間安全評價指標中,實現(xiàn)更全面的空間安全監(jiān)管,方案整體設(shè)計如圖1所示。

圖1 方案整體設(shè)計流程Fig.1 Overall design process of scheme

1.1 目標檢測算法設(shè)計

目標檢測作為整個險兆特征識別任務(wù)的基礎(chǔ),其目的在于及時發(fā)現(xiàn)空間沖突事故的潛在危險對象。根據(jù)任務(wù)需求,對相關(guān)檢測算法進行比選優(yōu)化。

1)基礎(chǔ)算法選擇

由于施工現(xiàn)場情況復(fù)雜多變,各施工要素流動性大,空間排布相對局促。檢測設(shè)備與支撐算法需綜合考慮目標動態(tài)差異特征及檢測空間視角等問題。經(jīng)比選,以YOLOv7作為目標檢測基礎(chǔ)算法。

YOLOv7算法由主干特征提取網(wǎng)絡(luò)(BackBone)、特征融合網(wǎng)絡(luò)(FPN)以及預(yù)測端部(Yolo Head)組成。相較于早期YOLO版本創(chuàng)新性地在特征提取部分融入多分支堆疊模塊,其內(nèi)部殘差塊使用條約連接緩解增加神經(jīng)網(wǎng)絡(luò)帶來的梯度消失問題;同時引入過渡模塊Transition_Block,使用Maxpooling和步長為2×2的特征并行進行下采樣[13]。

2)算法優(yōu)化改進

算法優(yōu)化的核心思想是保證網(wǎng)絡(luò)檢測準確率的前提下實現(xiàn)模型輕量化,并降低輕量化對小目標特征信息感知能力帶來的影響。將主干特征提取網(wǎng)絡(luò)替換為MobileOne[14],在深度可分離卷積及重參數(shù)化over-parameterization分支體系下減少參數(shù)量的同時優(yōu)化模型縮放策略,實現(xiàn)模型輕量化。同時,在特征融合網(wǎng)絡(luò)中加入SPD-Conv卷積構(gòu)建塊,其中SPD層在保留通道維度信息的情況下對特征映射進行下采樣,避免信息丟失;并在層后添加無步長卷積,以配置可學(xué)習(xí)參數(shù)以降低通道數(shù),減少細粒度信息丟失以及學(xué)習(xí)特征不足造成的細小目標漏檢。比例因子為2時SPD-Conv示意圖如圖2所示。最后在檢測頭嵌入SimAM無參數(shù)注意力機制,抑制檢測圖像中復(fù)雜環(huán)境背景對人員安全裝備目標的次要干擾因素,在不增加額外參數(shù)的前提下保證算法檢測精度。改進后的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

1.2 目標運動屬性識別設(shè)計

施工場景空間沖突事故大多發(fā)生于各施工要素并行作業(yè)階段,其中靜止狀態(tài)下的施工要素?zé)o法構(gòu)成事故致因鏈中的有效一環(huán)。鑒于此,將機械設(shè)備運動狀態(tài)定義為空間險兆特征并進行識別。

運動目標檢測主要通過圖像分割手段,在連續(xù)圖像序列中提取運動目標特征,尋找序列差異。常規(guī)方法如連續(xù)幀間差分法、光流法等,對圖像中目標前景與背景像素灰度、相機位置變化有一定要求,且處理過程相對復(fù)雜,不適用于本文任務(wù)。

而在檢測過程中,目標經(jīng)過錨框與人工標注真實框的誤差計量與補償,將最終輸出目標預(yù)測框(predication box)[15],并以文本形式輸出像素坐標結(jié)果?；诖?本文提出1種能夠有效利用視覺檢測信息,實現(xiàn)目標運動狀態(tài)快速、有效識別的方法。方法主要依托對視頻流檢測過程中輸出的預(yù)測框角點坐標數(shù)組,進行誤差優(yōu)化得到目標權(quán)重點幀間差值實現(xiàn)判別。具體判別方法如圖4所示。

圖4 預(yù)測框運動屬性判別方法示意Fig.4 Schematic diagram for identification method of prediction frame motion attribute

檢測過程獲取目標預(yù)測框角點坐標數(shù)組(XLα,YLα)、(XRα,YRα),得到其預(yù)測框中心點Hα,如式(1)所示:

(1)

式中:α為平均間隔時間,s,α=1～n。

為降低由圖像延遲或掉幀等引起預(yù)測框誤差,對所得中心點再次聚類取值,獲得修正后的加權(quán)中心點Mβ,如式(2)所示:

(2)

式中:Mβ為Hα與Hα+1的加權(quán)中心點,β=1～n-1。

設(shè)定相鄰加權(quán)中心點差異閾值Δd,如公式(3)所示,以此對機械運動狀態(tài)進行識別。

(3)

式中:Δd為相鄰加權(quán)中心點差異閾值,dpi(像素單位);靜止狀態(tài)0≦Δd≦10;運動狀態(tài)Δd>10。

1.3 空間定位方法設(shè)計

平面圖像由于視角差可能發(fā)生畸變失真,無法準確獲取深度空間信息。本文提出1種方法,通過靶標對圖像進行矯正,將真實世界空間信息降維,依托二維平面圖像比例關(guān)系實現(xiàn)對檢測對象空間距離的測算。不同于常規(guī)視覺測距方法強調(diào)對圖像第三維度深度信息進行仿真與還原,該方法直接通過現(xiàn)實空間信息已知的目標,建立圖像與現(xiàn)實空間的單應(yīng)性轉(zhuǎn)換關(guān)系,從而直接獲取施工場景內(nèi)各施工要素平面空間距離信息,更加適用于本研究任務(wù)。

1.3.1 圖像矯正(透視變換)原理

透視變換的本質(zhì)即將原圖像通過投影的手段,將其映射至新的承影平面上,遵循透視中心、像點、目標點三點共線原則,經(jīng)變換后,原圖像與承影仍能維持“直線性”[16],通用變換公式如式(4)所示。

(4)

1.3.2 目標空間定位方法描述

圖像采集過程中,于場景內(nèi)挖掘機車頂設(shè)置二維碼靶標,借助其角點進行圖像校準,擺脫二維圖像測距對深度信息的依賴。以此,通過視覺手段實現(xiàn)挖掘機環(huán)境距離險兆特征的提取。步驟如下:

1)對輸入的圖像進行邊緣提取。圖像噪聲可能導(dǎo)致相鄰像素間發(fā)生離散,使用高斯濾波器對圖像進行卷積獲得像素梯度,并通過矩陣保持像素間相似性并去除噪聲。采取非極大抑制排除低特征邊緣點,在滯后閾值再次篩選下提取二值邊緣圖像。

2)利用所得邊緣圖像,通過RANSAC算法[17]對直線擬合確定二維靶標外緣輪廓線。從圖像提取一組隨機樣本點,擬合出兩點連線對應(yīng)方程,并對該直線外緣兩側(cè)設(shè)定門限記錄門限正負區(qū)間內(nèi)的內(nèi)點容積量,迭代4×102循環(huán)得出4組門限內(nèi)點最多的方程,各方程間的同解即為圖像轉(zhuǎn)換靶標角點。

3)通過標靶四角點像素坐標,將靶標尺寸及像素信息映射在預(yù)設(shè)二維平面坐標體系下,該平面空間信息對應(yīng)現(xiàn)實空間;由二維碼靶標在原始輪廓圖像中的角點像素坐標(U1-4,V1-4)以及矯正二維平面坐標體系中的角點坐標(X1-4,Y1-4)構(gòu)建坐標變換單應(yīng)性矩陣,實現(xiàn)原始圖像矯正,變換公式如式(5)所示:

(5)

聯(lián)立式(4),可推導(dǎo)如式(6)所示:

(6)

4)對矯正后的二維圖像進行現(xiàn)實距離比例換算,比例系數(shù)K,如式(7)所示:

(7)

式中:QRdistance為二維碼靶標邊長實際尺寸,mm;real(Row[2]-Row[1])為二維碼靶標邊長像素尺寸,dpi(像素單位)。

5)由目標檢測部分輸出目標識別框中心點之間的像素距離L0,乘以比例系數(shù)K,得到目標間的真實空間距離D,如式(8)所示:

(8)

式中:(Xp,Yp)為人員及卡車檢測框中心坐標;(XT,YT)為施工機械檢測框中心坐標。

2 模型訓(xùn)練

2.1 圖像數(shù)據(jù)集構(gòu)建

1)檢測類別劃分

首先明確場景內(nèi)施工要素,包括人員、挖掘機、渣土裝載卡車。將挖掘機外部整體以及核心主體這兩類互為包含關(guān)系的目標拆分,分別應(yīng)用于運動狀態(tài)屬性判別及空間定位方法。其次考慮現(xiàn)場工種繁雜及安全施工評價的必要性,對人員安全裝備特征進行更細致地分類,施工要素檢測類別如表1所示。

表1 施工要素檢測類別Table 1 Detection categories of construction elements

2)圖像采集與標注

本文采用無人機實地采集、仿真機械模型拍攝以及網(wǎng)絡(luò)檢索3類渠道獲取符合檢測需求的7 587張樣本圖像。使用labelimg標注工具對圖像目標進行標注,生成XML標注文件以構(gòu)建PASCAL VOC數(shù)據(jù)集。訓(xùn)練前,對輸入圖像使用Mosaic數(shù)據(jù)增強的方式,進一步提升魯棒性。

2.2 算法訓(xùn)練與結(jié)果訓(xùn)練

1)訓(xùn)練結(jié)果驗證

模型訓(xùn)練過程考慮訓(xùn)練平臺性能設(shè)置批訓(xùn)練大小為4,迭代世代(epoch)為150,input圖像尺寸為[640,640],初始學(xué)習(xí)率為0.001,權(quán)重衰減參數(shù)為0.000 5,并按9∶1比例劃分訓(xùn)練集與驗證集。同時采用早停法監(jiān)測訓(xùn)練集損失值以防止訓(xùn)練結(jié)果過擬合。使用合并分支重參數(shù)化預(yù)訓(xùn)練權(quán)重進行遷移學(xué)習(xí),訓(xùn)練過程平均精度及損失曲線如圖5所示。

圖5 平均精度及損失值變化曲線Fig.5 Curves of average accuracy and loss change

2)評價指標

本文選用每秒識別圖像數(shù)量(FPS)、精確率(Precision)、召回率(Recall)以及平均精度mAP(正負樣本閾值取0.5),對識別速率及精度進行評估。計算公式如式(9)～(10)所示:

(9)

(10)

(11)

式中:TP表示將正類預(yù)測為正類數(shù),即準確預(yù)測;FP表示將負類預(yù)測為正類,即錯誤預(yù)測;FN表示將正類預(yù)測為負類,即錯誤預(yù)測。

算法性能對比如表2所示,可知相較于原始YOLOv7網(wǎng)絡(luò)的“多分支堆疊+Transition_Block過渡”的主干結(jié)構(gòu),使用MobileOne替換后的算法在處理速度上有顯著提高,精確度小幅波動而召回率受影響較大發(fā)生不同程度地降低,可見主干輕量化提高了誤檢率。在融入SPD-Conv卷積及SimAM無參注意力機制后,相較于Yolov7雖然在mAP精度小幅下降2.79個百分點,但檢測速度大幅提升50%,有效保證檢測視頻的流暢度,降低運動狀態(tài)判別的誤差概率。其次,強化了網(wǎng)絡(luò)全局處理效率,確保復(fù)雜施工場景中對多個空間安全險兆目標的同步識別。最后,對各險兆目標更快速地識別為及時阻斷空間安全風(fēng)險提供寶貴的窗口期,從而實現(xiàn)施工空間安全的有效監(jiān)管。

表2 算法性能比對Table 2 Comparison of algorithm performance

3 測試方法應(yīng)用

為評估該方法在實際工程場景的有效性,選擇某土方作業(yè)施工現(xiàn)場作為實地測試場景,于目標挖掘機駕駛艙頂部固定1 m×1 m二維標定碼,以無人機升至規(guī)定高度進行大角度俯拍對目標進行視頻采集。將獲得視頻信息以每30幀截取1張圖像數(shù)據(jù),并進一步對圖像進行篩選同時劃分不同要素測試集。目標檢測測試結(jié)果通過各標簽類別AP值以及預(yù)測框運動狀態(tài)判別準確率判斷,目標測距測試結(jié)果通過實際距離與測算誤差百分比作為評價指標。

3.1 目標檢測與屬性判斷結(jié)果

測試按照施工要素繁簡程度劃分為單一少目標場景與復(fù)雜多目標場景,并在每類場景下選取多個施工場地分別進行驗證。其中,單一少目標場景一包含1部挖掘機和1位工人,場景內(nèi)挖掘機處于相對靜止狀態(tài);場景二包含1部挖掘機及1輛渣土裝載卡車,挖掘機處于正常運作中(包含運動、靜止狀態(tài))。復(fù)雜多目標場景三與場景四涵蓋土方作業(yè)完整要素。按上述步驟從4個分場景各選取連續(xù)300張圖像輸入模型進行檢測并人工復(fù)核各類AP值。通過預(yù)測框加權(quán)差值識別法判別機械目標運動屬性,連續(xù)的3張圖像組成判別對照組,各分場景共獲得400組。經(jīng)復(fù)核,反饋數(shù)據(jù)信息如表3～4所示。圖6為單一場景目標檢測示意,圖7為復(fù)雜場景目標檢測示意。

表3 單一目標檢測精度及屬性判別準確率Table 3 Single target detection accuracy and attribute discrimination accuracy

表4 復(fù)雜目標檢測精度及屬性判別準確率Table 4 Complex target detection accuracy and attribute discrimination accuracy

圖6 單一場景目標檢測示意Fig.6 Example diagram of single scene target detection

圖7 復(fù)雜場景目標檢測示意Fig.7 Example diagram of complex scene target detection

3.2 目標測距結(jié)果

針對測距精度的關(guān)鍵評價指標即測算距離與實際空間距離之間的誤差評估。依托trackit藍牙定位軟件,將藍牙信標布置于檢測對象,以此作為實際距離對照的替代方案,精度符合測試需求。為充分驗證測距方法在本文研究中的準確性,在4個場景中共選取21個目標樣本展開測距驗證,結(jié)果及誤差對比如表5所示。測距效果示意圖如圖8所示。

表5 目標測距結(jié)果及誤差對比Table 5 Target distance measurement results and error comparison

3.3 測試結(jié)果討論

基于以上結(jié)果,挖掘機、卡車、人員這3類目標達到較高識別精度,而場景中安全裝備特征的識別表現(xiàn)并未達到預(yù)期。經(jīng)分析,原因主要為此類樣本尺寸過小,通過加入SPD-Conv卷積塊雖相對緩解了輕量化結(jié)構(gòu)對檢測精度的負面影響,但圖像感知能力仍有缺陷。同時,在復(fù)雜目標場景中,由于物體遮擋及目標重疊等原因,易出現(xiàn)“漏檢”現(xiàn)象。基于以上問題,在后續(xù)方法的優(yōu)化過程中,首先可在改進算法基礎(chǔ)上進一步對主干網(wǎng)絡(luò)額外加入小目標檢測層,作為提升細小特征檢測精度的嘗試;其次進一步擴充數(shù)據(jù)樣本,以提高檢測方法魯棒性。

4 結(jié)論

1)本文以目標檢測算法及圖像透視變換技術(shù)為基礎(chǔ)支撐,實現(xiàn)施工場景內(nèi)的危險目標檢測、運動屬性判別及空間距離3類險兆特征識別。并以土方作業(yè)為例,通過訓(xùn)練及評估,驗證方法的有效性。

2)本文提出的目標檢測算法對事故險兆目標識別精度達到95.0%,檢測速度提升至46.3 FPS,達到同級別較優(yōu)水平。同時對目標運動屬性的判別精度達91%以上,滿足實際應(yīng)用需求。對“距離”這一事故早期征兆,其精度保持在了92%～96%區(qū)間,相較于傳統(tǒng)人工目視估計,更為精準有效;而對比其他距離估計算法又更為便捷,有助于實際部署。

3)在后續(xù)研究中,可依據(jù)相關(guān)安全規(guī)范制定空間安全管控規(guī)則,將識別結(jié)果映射于規(guī)則中并細化危險評級,有助于對潛在空間沖突危險進行識別預(yù)警與前攝干預(yù)。未來,通過對目標類別進一步增容及相關(guān)場景的優(yōu)化訓(xùn)練,此套方法可由土方施工場景遷移至多行業(yè)領(lǐng)域,提高方法應(yīng)用多樣性。