段品生,周建亮

(中國礦業(yè)大學(xué)力學(xué)與土木工程學(xué)院，江蘇 徐州 221116)

建筑工人的不安全行為是造成施工安全事故的最主要原因，占比達(dá)80%以上[1]。在當(dāng)前的安全管理實(shí)踐中，對不安全行為管控多集中于廣泛的安全教育，未形成全面的針對個(gè)體行為的安全控制機(jī)制與方法[2]。而在信息與網(wǎng)絡(luò)領(lǐng)域，基于網(wǎng)絡(luò)行為的用戶刻畫方法已經(jīng)在信息檢索[3]、興趣推薦[4]等方面得到了廣泛的應(yīng)用，實(shí)現(xiàn)了從用戶角度出發(fā)的個(gè)性化內(nèi)容推薦。相類似地，建筑工人也有著多樣化的安全管理需求，且個(gè)性化安全管理在復(fù)雜的施工現(xiàn)場具有顯著的優(yōu)勢[5]。因此，研究刻畫建筑工人不安全行為的方法，發(fā)現(xiàn)個(gè)體的行為規(guī)律及趨勢，對預(yù)防人因錯誤、制定個(gè)性化行為矯正策略、提高安全生產(chǎn)邊界具有重要的意義。

建筑工程施工活動是由一系列動作組成的，每個(gè)動作包括一系列的移動，不良動作往往會產(chǎn)生有別于穩(wěn)定狀態(tài)的姿態(tài)擾動，進(jìn)而引發(fā)不安全行為，因此可以通過分析姿態(tài)特征來刻畫建筑工人的不安全行為。當(dāng)前研究中的行為刻畫方法主要包括基于調(diào)查和觀察的方法、基于傳感器的方法和基于計(jì)算機(jī)視覺的方法等。基于調(diào)查和觀察的方法雖然能采集到相對合理的數(shù)據(jù)，但是過程耗時(shí)長且效率不高[6]?；趥鞲衅鞯姆椒梢詫?shí)時(shí)采集到相對準(zhǔn)確的建筑工人動作數(shù)據(jù)，例如：Kim等[7]基于長短期記憶網(wǎng)絡(luò)和運(yùn)動傳感器研究了傳感器位置和數(shù)量對建筑工人運(yùn)動識別的影響；張明媛等[8]設(shè)計(jì)了基于智能手機(jī)和人工神經(jīng)網(wǎng)絡(luò)識別施工人員跌落險(xiǎn)兆事故的方法，獲得了90.50%的準(zhǔn)確率。由于無需在建筑工人身上固定可能干擾正常施工的傳感器設(shè)備，基于計(jì)算機(jī)視覺的方法在行為刻畫研究方面已引起了廣泛的關(guān)注，例如：張博等[9]、王雨生等[10]提出了一種基于計(jì)算機(jī)視覺和姿態(tài)估計(jì)的安全帽佩戴檢測方法，提高了安全帽佩戴檢測的準(zhǔn)確度和環(huán)境適用性；Guo等[11]結(jié)合施工安全知識和人體工程學(xué)原理提出了一種基于姿態(tài)骨架的建筑工人不安全行為識別方法；Ding等[12]開發(fā)了一種基于CNN和LSTM的工人不安全行為分類模型，該模型能夠以較高的準(zhǔn)確性自動提取工人的不安全行為。

然而，上述研究方法大多只是分析了與建筑工人不安全行為相關(guān)的直接信息，而缺少對建筑工人不安全行為之中隱藏姿態(tài)動態(tài)變化特征的刻畫，未形成基于此來劃分建筑工人不同行為群體的方法。因此，本文提出了一種基于姿態(tài)特征的建筑工人不安全行為刻畫方法。該方法通過普通RGB攝像頭采集建筑工人在實(shí)際施工場景下的視頻圖像，利用OpenPose卷積神經(jīng)網(wǎng)絡(luò)提取建筑工人的姿態(tài)關(guān)鍵點(diǎn)，并運(yùn)用潛在類別聚類分析(Latent Class Clustering Analysis，LCCA)方法刻畫不同群體建筑工人的姿態(tài)特征信息。該研究結(jié)果對揭示建筑工人個(gè)體特征差異、促進(jìn)建筑工人不安全行為的個(gè)性化安全管理具有重要的現(xiàn)實(shí)意義。

1 基于姿態(tài)特征的建筑工人不安全行為刻畫方法及流程

由于建筑工程施工活動是一系列動作的組合，建筑工人的很多不安全行為與不良動作密切相關(guān)，因此本文提出了一種通過分析工人工作視頻中的姿態(tài)來刻畫建筑工人施工過程中不安全行為的方法。該方法通過普通的RGB攝像頭采集工人工作時(shí)的姿態(tài)關(guān)鍵點(diǎn)，以施工動作的動態(tài)變化特征表征建筑工人施工過程中的不安全行為，并基于統(tǒng)計(jì)分析和LCCA模型刻畫建筑工人的行為畫像，分別確定事實(shí)標(biāo)簽及模型標(biāo)簽。該方法的基本思路為：首先，基于OpenPose方法[13-14]提取現(xiàn)場建筑工人工作視頻中的行為姿態(tài)關(guān)鍵點(diǎn)，確定建筑工人不安全行為中的4種不良動作及12個(gè)事實(shí)標(biāo)簽，并針對建筑工人每種施工動作制定相應(yīng)的劃分規(guī)則，以獨(dú)特表征不同的施工動作；然后，通過LCCA方法對采集的事實(shí)標(biāo)簽進(jìn)行聚類分析，提取建筑工人行為模型標(biāo)簽；最后，管理人員可基于此制定個(gè)性化的行為矯正策略。基于姿態(tài)特征的建筑工人不安全行為刻畫方法及具體流程，見圖1。

圖1 基于姿態(tài)特征的建筑工人不安全行為刻畫方法及流程

2 建筑工人不安全行為刻畫的具體實(shí)現(xiàn)

2.1 基于OpenPose的建筑工人姿態(tài)關(guān)鍵點(diǎn)獲取

以普通的RGB攝像頭作為視頻數(shù)據(jù)采集設(shè)備，通過分析視頻數(shù)據(jù)來提取建筑工人施工時(shí)的行為姿態(tài)，并采集工人不安全行為狀態(tài)的關(guān)鍵特征參數(shù)。為了高效提取建筑工人的行為狀態(tài)，本文采用美國卡耐基梅隆大學(xué)開發(fā)的OpenPose人體姿態(tài)識別開源庫，該庫基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)，可以實(shí)現(xiàn)單人或多人的人體動作姿態(tài)實(shí)時(shí)估計(jì)。與依賴于專用設(shè)備的姿態(tài)采集設(shè)備，如Kinect、慣性測量單元等相比，OpenPose人體姿態(tài)識別開源庫可以通過分析視頻在不干擾工人正常工作狀態(tài)的情況下準(zhǔn)確提取人體姿態(tài)骨架。

已開發(fā)的OpenPose人體姿態(tài)識別開源庫最高可實(shí)現(xiàn)對工人25個(gè)姿態(tài)骨架關(guān)鍵點(diǎn)以及面部和手指關(guān)節(jié)的準(zhǔn)確提取。為了提高數(shù)據(jù)處理的效率，本文根據(jù)BODY_18模型(見圖2)，可實(shí)時(shí)提取工人工作視頻中18個(gè)姿態(tài)關(guān)鍵點(diǎn)的坐標(biāo)，見圖3。

圖2 BODY_18模型中人體姿態(tài)關(guān)鍵點(diǎn)的位置

圖3 基于RGB圖像的工人工作視頻中姿態(tài)關(guān)鍵點(diǎn)坐標(biāo)確定示例

2.2 建筑工人不安全行為特征表征和事實(shí)標(biāo)簽確定

基于用戶畫像理論，建筑工人不安全行為的事實(shí)標(biāo)簽可以定義為利用直接采集到的定量數(shù)據(jù)描述和刻畫特定的動作。參考我國《企業(yè)職工傷亡事故分類》(GB 6441—1986)國家標(biāo)準(zhǔn)及相關(guān)資料，建筑工人的不安全行為可以分為13個(gè)類別。本文采用手動方法分析其中與建筑工人自身相關(guān)的不安全行為中的主要動作，其結(jié)果見表1。特別地，對于在高處作業(yè)的建筑工人(如屋面作業(yè)人員等)而言，這些主要動作可能會引發(fā)其身體的穩(wěn)定狀態(tài)出現(xiàn)較大的變動，一旦工人對自身穩(wěn)定性判斷失誤，其高處墜落的安全風(fēng)險(xiǎn)將會顯著增加。因此，建筑工人在高處作業(yè)時(shí)應(yīng)盡量減少這些主要動作的出現(xiàn)，這將有利于其保持自身的穩(wěn)定性，進(jìn)而降低建筑施工作業(yè)的安全風(fēng)險(xiǎn)。由于這些主要動作的變化特征存在著顯著的差異[11]，故可以通過對動作變化特征的描述來刻畫建筑工人的不安全行為。

表1 與建筑工人自身相關(guān)的不安全行為中主要動作分析示例

根據(jù)表1的分析結(jié)果及相關(guān)標(biāo)準(zhǔn)[15]，本文將建筑工人復(fù)雜的行為簡化為多個(gè)主要動作，從而可以提高行為刻畫的效率。精細(xì)化描述上述動作，明確工人主要動作為：A.手肘超過肩膀；B.頸部彎曲大于30°；C.背部彎曲大于30°；D.下蹲或跪下。 基于上述分析，制定每項(xiàng)動作的3個(gè)特征參數(shù)，即動作持續(xù)時(shí)間、動作出現(xiàn)次數(shù)和重復(fù)動作次數(shù)，其中重復(fù)動作為上述相同的兩個(gè)動作時(shí)間間隔在0.2～2 s之間，且重復(fù)次數(shù)在3次及以上。通過主要動作的變化特征可衡量建筑工人不穩(wěn)定狀態(tài)的強(qiáng)度，特征值越大，則其不穩(wěn)定狀態(tài)越強(qiáng)，高處墜落的安全風(fēng)險(xiǎn)越高。建筑工人不安全行為特征表征和事實(shí)標(biāo)簽，見表2。

表2 建筑工人不安全行為特征表征和事實(shí)標(biāo)簽

2.3 建筑工人動作閾值判斷與驗(yàn)證

圖4 建筑工人動作角度示意圖

(1)

(2)

上式中：Xi表示第i處的人體姿態(tài)關(guān)鍵點(diǎn)橫坐標(biāo)；Yi表示第i處的人體姿態(tài)關(guān)鍵點(diǎn)縱坐標(biāo)。

(3)

對比上述人體姿態(tài)關(guān)鍵節(jié)點(diǎn)坐標(biāo)及角度在不同動作時(shí)的變化,可以看到不同動作更直觀的變化模式。本文通過RGB攝像頭采集一名建筑工人在模擬上述不安全行為時(shí)的4個(gè)動作，每個(gè)動作重復(fù)3次，記錄工人姿態(tài)關(guān)鍵節(jié)點(diǎn)坐標(biāo)及角度變化，模擬試驗(yàn)結(jié)果見圖5。

圖5 不同動作姿態(tài)關(guān)鍵節(jié)點(diǎn)坐標(biāo)及角度變化的模擬試驗(yàn)結(jié)果

由圖5可知，在建筑工人模擬上述4個(gè)動作時(shí)，相應(yīng)的姿態(tài)關(guān)鍵點(diǎn)坐標(biāo)及角度呈現(xiàn)出獨(dú)特的周期性變化，這與模擬試驗(yàn)中建筑工人的行為規(guī)律相一致。建筑工人這些動作與正常狀態(tài)相比存在明顯的不穩(wěn)定變化，因此利用前文所述方法采集事實(shí)標(biāo)簽數(shù)據(jù)是可行的，且動作的判斷閾值(角度閾值在圖5中用虛線標(biāo)注)可以用于區(qū)分建筑工人的不同動作狀態(tài)。

2.4 建筑工人動作劃分性能評價(jià)

由于目前針對建筑工人這種行為刻畫結(jié)果的劃分沒有統(tǒng)一的標(biāo)準(zhǔn)，因此本文參考分類算法的通用評價(jià)參數(shù)對運(yùn)用該方法劃分建筑工人動作性能進(jìn)行了評價(jià)，主要的評價(jià)參數(shù)包括準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和F1分?jǐn)?shù)(F1score)[16]。各參數(shù)的計(jì)算公式如下：

(4)

(5)

(6)

(7)

上式中：TP表示實(shí)際發(fā)生某動作，而檢測為同樣動作的正樣本數(shù)量(個(gè))；TN為實(shí)際未發(fā)生某動作，而檢測同樣未發(fā)生某動作的負(fù)樣本數(shù)量(個(gè))；FP表示實(shí)際未發(fā)生某動作，而檢測到發(fā)生了某動作的正樣本數(shù)量(個(gè))；FN為實(shí)際發(fā)生了某動作，而檢測未發(fā)生該動作的負(fù)樣本數(shù)量(個(gè))。

上述參數(shù)值越接近1，表明建筑工人動作劃分的性能越好。

2.5 基于LCCA的模型標(biāo)簽確定

事實(shí)標(biāo)簽可以直接反映出一名建筑工人在一定時(shí)間范圍內(nèi)不安全行為的發(fā)生情況，卻難以挖掘其潛在的偏好表現(xiàn)。因此，基于上述12個(gè)事實(shí)標(biāo)簽可確定建筑工人行為的模型標(biāo)簽，用來衡量其不安全行為的偏好。模型標(biāo)簽的確定過程可以看作是一種聚類問題，因此本文采用潛在類別聚類分析方法確定建筑工人行為的模型標(biāo)簽[17]。采用LCCA方法將建筑工人個(gè)體劃分為難以觀察的多個(gè)亞群體，這些亞群體可以由一組未被觀察到，必須從數(shù)據(jù)中推斷的分類潛變量表示。假設(shè)潛在類別中的多變量符合正態(tài)分布，則可將這種模式表示如下：

(8)

(9)

對聚類的準(zhǔn)確度，可以采用基于信息準(zhǔn)則的方法來衡量，包括赤池信息準(zhǔn)則(AIC、CAIC)、貝葉斯信息準(zhǔn)則(BIC、ICL_BIC)等[17]。這些數(shù)據(jù)數(shù)值越低，表示模型的擬合精度越高。本文采用Intel(R) i7-9750H處理器，基于XLSTAT軟件處理采集到的數(shù)據(jù)，將聚類個(gè)數(shù)設(shè)定為1～8，并根據(jù)信息準(zhǔn)則確定最合適的聚類個(gè)數(shù)。

3 方法驗(yàn)證與結(jié)果分析

3.1 建筑工人動作劃分結(jié)果與驗(yàn)證

本文以實(shí)際施工場景為例，對所提出的基于姿態(tài)特征的建筑工人不安全行為刻畫方法進(jìn)行了驗(yàn)證。盡管持續(xù)觀察法(如全天觀察)可以有效且全面地刻畫建筑工人的不安全行為，但抽樣方法(如隨機(jī)抽樣)也可為工人不安全行為刻畫提供無偏見且具有統(tǒng)計(jì)代表性的數(shù)據(jù)。因此，本研究在施工現(xiàn)場隨機(jī)采集18名男性建筑工人的施工視頻數(shù)據(jù)，包括12名抹灰工人、5名混凝土工人和1名特種作業(yè)(吊籃作業(yè))工人，他們均為從事建筑裝飾裝修類專業(yè)工種的工人，需要經(jīng)常攀爬梯子、吊籃等，屬于高處作業(yè)人員。工人的平均年齡為41.67歲±6.49歲，采集的視頻幀數(shù)率為30幀/s，每個(gè)視頻共5 400幀。手動觀察視頻片段，從視頻中提取表2所述的4個(gè)主要動作并統(tǒng)計(jì)其動作特征參數(shù)，其統(tǒng)計(jì)結(jié)果見表3。

表3 某實(shí)際施工場景建筑工人不安全行為原始數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果

選擇建筑工人施工視頻數(shù)據(jù)中前300幀視頻畫面作為驗(yàn)證視頻，每50幀視頻畫面輸出一個(gè)測試圖像，其輸出結(jié)果見圖6。

圖6 建筑工人施工驗(yàn)證視頻的序列幀

由圖6可以直觀地看出，OpenPose可以準(zhǔn)確地識別出建筑工人大多數(shù)的姿態(tài)關(guān)鍵點(diǎn)，且從大部分視頻幀可以準(zhǔn)確檢測到建筑工人的姿態(tài)關(guān)鍵點(diǎn)并形成骨架，而部分幀(如第250幀)存在骨架連接缺失的情況，但動作劃分的姿態(tài)關(guān)鍵點(diǎn)均已被識別出來，因此并未對建筑工人的動作刻畫產(chǎn)生嚴(yán)重的影響，表明該方法在建筑工人不安全行為事實(shí)標(biāo)簽的提取方面具有一定的魯棒性。

對某建筑工人施工視頻數(shù)據(jù)中前300幀視頻畫面的全部動作進(jìn)行整體刻畫，其刻畫結(jié)果見圖7。當(dāng)檢測到出現(xiàn)某動作時(shí)，標(biāo)記為1，否則為0。

圖7 某建筑工人施工視頻數(shù)據(jù)中前300幀視頻畫面的動作刻畫結(jié)果

由圖7可以看出，該建筑工人在這300幀視頻畫面中，大部分時(shí)間，特別是在前150幀視頻畫面中，表現(xiàn)出兩種及以上的不安全行為動作，其動作刻畫結(jié)果與該名工人的實(shí)際施工表現(xiàn)相一致。

進(jìn)一步地，采用建筑工人動作劃分性能評價(jià)參數(shù)評估劃分結(jié)果，見表4。

表4 建筑工人動作劃分性能評價(jià)參數(shù)的測試結(jié)果

由表4可知，對于動作A、B、C、D，本文方法動作劃分結(jié)果的準(zhǔn)確率達(dá)到了97.01%、97.34%、96.01%和92.03%，精確率也達(dá)到了88.16%、100%、93.75%和66.15%?？偟膩碚f，該方法對建筑工人不安全行為不同動作劃分具有較高的敏感度，可以用于區(qū)分建筑工人的不同動作狀態(tài)。此外，由表4還可知，召回率和F1分?jǐn)?shù)值相對較高，說明動作誤判的概率較低，表明該方法可以用于建筑工人不安全行為動作的劃分。為此，本文利用該方法采集了18位建筑工人不安全行為動作的事實(shí)標(biāo)簽。

3.2 模型標(biāo)簽確定與驗(yàn)證

首先，利用采集視頻中建筑工人的動作數(shù)據(jù)，采用LCCA方法劃分聚類團(tuán)體，以確定模型標(biāo)簽，并通過分析AIC、CAIC、BIC和ICL_BIC的數(shù)值變化確定合理的聚類個(gè)數(shù)，其結(jié)果見表5。

由表5可知，上述信息準(zhǔn)則參數(shù)在5個(gè)聚類時(shí)基本穩(wěn)定，且參數(shù)值相對較小。因此，選擇聚類個(gè)數(shù)為5是較為合理的，確定的模型標(biāo)簽個(gè)數(shù)為5。

表5 基于LCCA的模型聚類準(zhǔn)確性度量

然后，根據(jù)聚類類別和類別內(nèi)的事實(shí)標(biāo)簽確定行為偏好和模型標(biāo)簽。相對而言，事實(shí)標(biāo)簽數(shù)據(jù)的數(shù)值越高，說明建筑工人不良動作的時(shí)間和頻率越高，因此出現(xiàn)不安全行為的可能性較大，建筑工人面臨的安全風(fēng)險(xiǎn)較高；相反，事實(shí)標(biāo)簽數(shù)據(jù)的數(shù)值越低，說明建筑工人不良動作的時(shí)間和頻率越低，因此出現(xiàn)不安全行為的可能性較低，建筑工人面臨的安全風(fēng)險(xiǎn)較低。由于事實(shí)標(biāo)簽數(shù)量較多，因此對模型標(biāo)簽的劃分采用更加概念化的方式進(jìn)行，依據(jù)聚類個(gè)數(shù)將其劃分為5類，分別為低危型、中危型、高危-重復(fù)偏好型、高危-時(shí)間偏好型和高危-次數(shù)偏好型，見表6。

表6 基于LCCA的模型標(biāo)簽確定

由表6可知，在驗(yàn)證視頻的18名建筑工人中，高危型偏好的建筑工人數(shù)量占比為45.26%。

基于劃分的模型標(biāo)簽，可以為不同行為偏好的建筑工人制定差異化的不安全行為矯正策略，以實(shí)現(xiàn)安全的個(gè)性化管控。其中，對于低危型的建筑工人，可持續(xù)不定期監(jiān)測其行為狀態(tài)；對于中危型的建筑工人，需要采取定期監(jiān)控的措施，并根據(jù)實(shí)際的行為表現(xiàn)適時(shí)干預(yù)其行為狀態(tài)；對于高危型的建筑工人，其行為存在明顯的安全風(fēng)險(xiǎn)，應(yīng)根據(jù)其行為偏好制定具體的安全防護(hù)、行為干預(yù)和安全教育等措施。

4 結(jié)論與建議

建筑施工活動是由一系列動作組成的，且建筑工人不安全行為與不良動作密切相關(guān)，基于此本文提出了一種基于動作姿態(tài)特征的、可用于視頻監(jiān)控的建筑工人不安全行為刻畫方法。該方法融合建筑工人施工姿態(tài)特征信息，采用LCCA方法設(shè)計(jì)了行為刻畫模型標(biāo)簽，并基于實(shí)際施工視頻對該方法的有效性進(jìn)行了驗(yàn)證，結(jié)果表明：該方法在動作劃分方面取得了95.60%的平均準(zhǔn)確率和87.02%的平均精確率；在模型標(biāo)簽方面將建筑工人劃分為5種不同的行為偏好群體是合理的。該方法可用于基于現(xiàn)場監(jiān)控視頻的工人行為分析，實(shí)時(shí)檢測工人行為的高風(fēng)險(xiǎn)偏好,確保工人的自身安全與健康。然而，受到施工現(xiàn)場場景、光線、障礙物等因素的影響，在實(shí)際施工中使用該方法可能會存在部分關(guān)鍵動作特征點(diǎn)無法提取的情況。未來的研究可以考慮融合傳感器數(shù)據(jù)，基于多標(biāo)簽融合獲取更加全面的工人行為信息；另外，基于該方法還可以開發(fā)出相應(yīng)的工人不安全行為動態(tài)管控系統(tǒng)，以提高企業(yè)安全風(fēng)險(xiǎn)管理效率。