張 楠，李溫靜，劉 彩，謝 可，馬世乾，肖鈞浩，鄒 楓

（1.國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司，北京 102211; 2.國(guó)網(wǎng)天津市電力公司，天津 300010）

0 引 言

近年來(lái)，我國(guó)的電力行業(yè)得到了前所未有的發(fā)展，各種電力系統(tǒng)中的復(fù)雜任務(wù)在人工智能的輔助下取得突破。一直以來(lái)，電力能源安全被視為國(guó)家高質(zhì)量發(fā)展、改善人民生活水平和社會(huì)長(zhǎng)治久安的一個(gè)關(guān)鍵問(wèn)題，“十三五”期間，我國(guó)電網(wǎng)輸送能力由2015 年的1.1 億kW 提高到2020 年的2.3 億千瓦kW，其中特高壓占比高達(dá)61%［1］。相應(yīng)地，全國(guó)用電量從2015年5.74 萬(wàn)億kW·h 提升至2021 年8.11 萬(wàn)億kW·h，并且呈現(xiàn)穩(wěn)步增加的趨勢(shì)。國(guó)家“十四五”規(guī)劃中的5G基站建設(shè)、東數(shù)西算數(shù)據(jù)中心、新能源電動(dòng)汽車以及八縱八橫的高鐵項(xiàng)目建設(shè)都是用電需求量較大的項(xiàng)目，電力供應(yīng)保障便是項(xiàng)目建設(shè)的前提。與此同時(shí)，在國(guó)家電網(wǎng)項(xiàng)目建設(shè)過(guò)程中，仍時(shí)而發(fā)生電力物聯(lián)網(wǎng)作業(yè)人員安全事故。因此，建立一個(gè)電力作業(yè)人員的實(shí)時(shí)行為安全預(yù)警系統(tǒng)具有重要的意義。

據(jù)國(guó)家能源局截至2021年10月全國(guó)電力安全生產(chǎn)情況數(shù)據(jù)統(tǒng)計(jì)，我國(guó)每年都會(huì)發(fā)生數(shù)十起電力安全事故，導(dǎo)致幾十名作業(yè)人員死亡，從側(cè)面反映出我國(guó)電力安全生產(chǎn)中的不足，例如：電力作業(yè)人員工作流程不規(guī)范、作業(yè)人員安全意識(shí)不足等。據(jù)杜邦公司對(duì)安全生產(chǎn)事故的統(tǒng)計(jì)，作業(yè)人員的不安全行為導(dǎo)致事故率高達(dá)96%［2］。海因里希曾對(duì)美國(guó)75000 起工業(yè)安全事故進(jìn)行調(diào)查得知作業(yè)人員的不安全行為導(dǎo)致的事故占88%，其中98%的事故是通過(guò)預(yù)防可以避免的［3］。我國(guó)對(duì)于安全事故統(tǒng)計(jì)研究表明，作業(yè)人員的不安全行為導(dǎo)致的事故占總體的85%［4-5］。因此對(duì)作業(yè)人員的不安全行為進(jìn)行預(yù)警，可以有效地降低安全事故的發(fā)生［6-7］。

市政建筑工程地基施工需要開挖較深的基坑，對(duì)于地下水資源較為豐富的地區(qū)，例如我國(guó)南方多雨地區(qū)，地下水資源不僅豐富，而且水層較淺，再加上常年多雨，充足的雨水勢(shì)必會(huì)對(duì)地基工程施工產(chǎn)生較大的影響。所以對(duì)于這些地區(qū)，尤其在雨季進(jìn)行施工時(shí)，必須做好現(xiàn)場(chǎng)防水、排水工作。但是在實(shí)際作業(yè)中，很多建筑企業(yè)并沒(méi)有采取科學(xué)的保護(hù)措施，導(dǎo)致地基進(jìn)水，不僅影響施工進(jìn)度，而且也會(huì)嚴(yán)重影響地基結(jié)構(gòu)質(zhì)量。所以在市政建筑工程地基施工中必須及時(shí)清理深基坑內(nèi)的積水，同時(shí)做好防水和排水設(shè)施，保證基坑無(wú)積水。另外對(duì)于被水浸泡過(guò)的土層也要做好清理和加固工作。

SP型衰減年夏季,歐亞地區(qū)中高緯環(huán)流表現(xiàn)為“西低東高”的環(huán)流形勢(shì),在低緯度地區(qū),副高偏強(qiáng)偏北,夏季風(fēng)偏強(qiáng),黃河以南地區(qū)為負(fù)距平(圖7b)。南海到西北太平洋反氣旋式的水汽通量距平環(huán)流加強(qiáng)了,受副高偏強(qiáng)偏北和東亞夏季風(fēng)總體偏強(qiáng)的影響,來(lái)自低緯地區(qū)的暖濕水汽向我國(guó)腹地輸送,西北、華北存在水汽輻合(圖7d),冷暖氣流在西北、華北交匯,使得該區(qū)域降水偏多,而長(zhǎng)江以南降水明顯偏少,夏季降水總體呈現(xiàn)“北多南少”的分布型。

2014年1月17日，連任中國(guó)乒協(xié)主席；同年1月21日，當(dāng)選為新一任中國(guó)足球協(xié)會(huì)主席；同年1月24日，連任中國(guó)羽毛球協(xié)會(huì)主席成功。

值得注意的是，隨著電子芯片的微型化以及互聯(lián)網(wǎng)的高效傳輸，人們可以通過(guò)一些便攜式攝像頭實(shí)時(shí)獲取現(xiàn)場(chǎng)畫面，并及時(shí)作出決策［8］。與此同時(shí)，深度學(xué)習(xí)在圖像視頻識(shí)別領(lǐng)域獲得了較大進(jìn)展［9］。本文針對(duì)當(dāng)前電力作業(yè)人員的在電力施工作業(yè)時(shí)面臨的安全問(wèn)題，結(jié)合電力物聯(lián)網(wǎng)環(huán)境提出一種基于R3D模型和云平臺(tái)的電網(wǎng)作業(yè)人員實(shí)時(shí)行為安全預(yù)警技術(shù)。通過(guò)多個(gè)便攜式攝像頭捕捉不同角度的電力物聯(lián)網(wǎng)作業(yè)人員實(shí)時(shí)行為畫面?zhèn)鬏數(shù)诫娏Ψ治鲈破脚_(tái)，通過(guò)R3D 模型進(jìn)行多源數(shù)據(jù)融合決策，識(shí)別出由于作業(yè)人員行為不規(guī)范可能導(dǎo)致的安全事故，進(jìn)一步通過(guò)現(xiàn)場(chǎng)廣播告知作業(yè)人員，同時(shí)將現(xiàn)場(chǎng)畫面同步傳輸至安全生產(chǎn)調(diào)度室進(jìn)行監(jiān)督。

1 國(guó)內(nèi)外研究現(xiàn)狀

電力作業(yè)人員行為安全預(yù)警分為行為識(shí)別和安全預(yù)警2 個(gè)模塊，其核心是人員的行為識(shí)別模塊。行為識(shí)別模塊有2 個(gè)重要因素：人員外部形象和運(yùn)動(dòng)軌跡［10］。想得到良好性能的識(shí)別及預(yù)警系統(tǒng)，需要從這2 個(gè)方面提取有效的信息，然而，行為識(shí)別及安全預(yù)警模塊在處理視頻時(shí)，往往伴隨而來(lái)的是高復(fù)雜的信息與干擾。國(guó)內(nèi)外對(duì)于人員行為預(yù)警方法有許多研究，現(xiàn)有文獻(xiàn)主要從傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)2 個(gè)方面進(jìn)行研究。

1.1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的人員行為安全預(yù)警

基于傳統(tǒng)機(jī)器學(xué)習(xí)的作業(yè)人員行為安全預(yù)警主要是應(yīng)用支持向量機(jī)（SVM）、特征組合等方式進(jìn)行預(yù)警。文獻(xiàn)［11］將人的不安全行為檢測(cè)歸納為人身檢測(cè)、侵入性檢測(cè)和多人協(xié)同作業(yè)檢測(cè)3 個(gè)方面來(lái)分析不安全行為檢測(cè)預(yù)警。其人身檢測(cè)采用SVM 與方向梯度直方圖（HOG）特征組合的方法進(jìn)行判斷。他們的侵入性檢測(cè)采用基于視頻監(jiān)控、傳感器以及現(xiàn)場(chǎng)人員反饋信息的多源數(shù)據(jù)融合方法進(jìn)行判斷。同時(shí)，文獻(xiàn)［11］中也提到了多人協(xié)同作業(yè)采用多監(jiān)控協(xié)同檢測(cè)方法，是對(duì)圖像中人員數(shù)量與間隔實(shí)時(shí)判斷。通過(guò)地鐵施工不安全行為檢測(cè)框架對(duì)施工不安全行為進(jìn)行實(shí)時(shí)檢測(cè)。該方法能夠識(shí)別安全帽及危險(xiǎn)區(qū)域等，但無(wú)法分析出作業(yè)人員的行為是否存在安全問(wèn)題。

通過(guò)三個(gè)案例分析我們看出鄰避運(yùn)動(dòng)的產(chǎn)生經(jīng)濟(jì)利益是一個(gè)重要的因素，無(wú)論是想拆遷的村民、房?jī)r(jià)被影響了的高檔小區(qū)居民，給予一定的經(jīng)濟(jì)補(bǔ)償?shù)拇_是一個(gè)重要的措施。再者，作為環(huán)境不公的受害者，經(jīng)濟(jì)利益的補(bǔ)償也解決環(huán)境不公的重要途徑。但通過(guò)阿蘇衛(wèi)的例子我們發(fā)現(xiàn)，經(jīng)濟(jì)補(bǔ)償一個(gè)還涉及補(bǔ)償標(biāo)準(zhǔn)與補(bǔ)償范圍。就如設(shè)定的補(bǔ)償范圍是半徑5公里以內(nèi)的居民，那么5.1公里的居民就不會(huì)受到損害嗎？這個(gè)范圍以外的居民的損害通常的把不到補(bǔ)償，這也是為什么阿蘇衛(wèi)附近中高檔小區(qū)居民反對(duì)垃圾焚燒廠如此決絕的重要原因。

文獻(xiàn)［12］提出一種基于機(jī)器學(xué)習(xí)和圖像識(shí)別的電力作業(yè)現(xiàn)場(chǎng)安全監(jiān)督。通過(guò)梯度方向直方圖和向量機(jī)來(lái)開展完全幀人員檢測(cè)工作，最后通過(guò)OpenCV圖像處理技術(shù)分析人員是否已進(jìn)入警戒區(qū)域。然而該方法主要針對(duì)作業(yè)人員是否闖入警戒區(qū)域進(jìn)行識(shí)別，不能針對(duì)電力作業(yè)人員的違規(guī)動(dòng)作進(jìn)行識(shí)別。

1.2 基于深度學(xué)習(xí)的人員行為安全預(yù)警

近些年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)的深入研究與不斷創(chuàng)新，在圖像處理領(lǐng)域取得了很多成就。深度學(xué)習(xí)在圖像處理上的優(yōu)越性、高效性，使得學(xué)者們將其引入面向視頻的行為識(shí)別領(lǐng)域［13］。

BP 神經(jīng)網(wǎng)絡(luò)是常用的一種網(wǎng)絡(luò)形式，文獻(xiàn)［14］提出的預(yù)警系統(tǒng)由4 個(gè)二級(jí)指標(biāo)及17 個(gè)三級(jí)指標(biāo)構(gòu)成的評(píng)價(jià)體系能有效地對(duì)建筑工人的安全行為進(jìn)行評(píng)價(jià)和預(yù)警，將安全狀態(tài)分為優(yōu)秀、良好和較差3 種情況，采用反向傳播（BP）神經(jīng)網(wǎng)絡(luò)，然而該預(yù)警模型是通過(guò)對(duì)建筑工人的問(wèn)卷調(diào)查等情況進(jìn)行評(píng)價(jià)，無(wú)法對(duì)建筑工人進(jìn)行實(shí)時(shí)監(jiān)控，提供作業(yè)時(shí)的安全保護(hù)。文獻(xiàn)［15］采用事故統(tǒng)計(jì)分析、文獻(xiàn)分析、質(zhì)性訪談方法獲取不安全行為影響因素，從組織、個(gè)人、外在環(huán)境、設(shè)備4 個(gè)方面建立不安全行為預(yù)警指標(biāo)體系，建出“23-9-4”3 層結(jié)構(gòu)的BP 神經(jīng)網(wǎng)絡(luò)預(yù)警模型，然而該預(yù)警模型是提前預(yù)測(cè)、防控不安全行為狀態(tài)，無(wú)法對(duì)建筑工人的實(shí)時(shí)安全行為進(jìn)行預(yù)測(cè)。類似地，文獻(xiàn)［16］利用BP神經(jīng)網(wǎng)絡(luò)對(duì)于高海拔隧道施工人員的不安全行為進(jìn)行預(yù)警，也存在上述的一些問(wèn)題。

文獻(xiàn)［17］通過(guò)YOLOv4 網(wǎng)絡(luò)模型識(shí)別井下人員佩戴安全帽情況，再通過(guò)OpenPose算法及ST-GCN模型對(duì)監(jiān)控視頻中的礦工行為進(jìn)行識(shí)別。該井下人員不安全行為識(shí)別與預(yù)警系統(tǒng)為井下人員的安全管理提供了新的思路。由于ST-GCN 模型存在行為識(shí)別精度偏低的問(wèn)題，所以以R3D 為核心技術(shù)，構(gòu)建生成了一個(gè)云平臺(tái)，該云平臺(tái)用于實(shí)時(shí)分析處理從施工現(xiàn)場(chǎng)捕獲的電力物聯(lián)網(wǎng)作業(yè)人員實(shí)施作業(yè)畫面，當(dāng)模型檢測(cè)出可能存在危險(xiǎn)動(dòng)作或違規(guī)行為時(shí)能夠及時(shí)發(fā)出預(yù)警。文獻(xiàn)［18］提出一種基于深度學(xué)習(xí)的電力作業(yè)人員行為識(shí)別技術(shù)。通過(guò)OpenPose 的危險(xiǎn)識(shí)別技術(shù)，通過(guò)對(duì)電力作業(yè)人員骨骼關(guān)鍵點(diǎn)信息進(jìn)行姿態(tài)感知并實(shí)時(shí)對(duì)施工人員的違規(guī)行為進(jìn)行檢測(cè)識(shí)別發(fā)出警告。然而該方法只能對(duì)預(yù)設(shè)數(shù)據(jù)集標(biāo)注的站立、走路、跳躍、摔倒和下蹲5 個(gè)動(dòng)作進(jìn)行識(shí)別，這種方法在面對(duì)復(fù)雜的電力環(huán)境下識(shí)別有限。

文獻(xiàn)［19］提出一種基于深度學(xué)習(xí)的電力作業(yè)異常行為識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。通過(guò)一種基于雙流Faster R-CNN 的目標(biāo)檢測(cè)方法，實(shí)現(xiàn)了電力作業(yè)現(xiàn)場(chǎng)的目標(biāo)檢測(cè)功能，主要檢測(cè)在作業(yè)時(shí)電力工人是否按照電工安全操作規(guī)程的要求正確穿戴必須的安全防護(hù)物件。然而該方法仍是針對(duì)作業(yè)人員的安全佩戴進(jìn)行檢查，無(wú)法有效地對(duì)作業(yè)人員的行為進(jìn)行監(jiān)測(cè)。

1.3 基于其他領(lǐng)域方法的人員行為安全預(yù)警

不僅是在計(jì)算機(jī)視覺(jué)領(lǐng)域，在人員行為安全預(yù)警任務(wù)上，也可以利用其他技術(shù)。文獻(xiàn)［20］從作業(yè)人員實(shí)時(shí)位置數(shù)據(jù)、作業(yè)人員屬性及裝備數(shù)據(jù)、作業(yè)人員危險(xiǎn)動(dòng)作數(shù)據(jù)出發(fā)，構(gòu)建了基于BIM（建筑信息模型）技術(shù)和定位技術(shù)的地鐵施工事故預(yù)警系統(tǒng)，通過(guò)采集層、數(shù)據(jù)輸入層、數(shù)據(jù)處理層、模型應(yīng)用層等4 大層級(jí)結(jié)構(gòu)進(jìn)行安全預(yù)警。然而該文只是停留在理論階段的分析，還無(wú)法通過(guò)實(shí)驗(yàn)進(jìn)行驗(yàn)證。

綜上一些現(xiàn)有文獻(xiàn)對(duì)于作業(yè)人員行為安全預(yù)警方法，對(duì)不同場(chǎng)景下的不同任務(wù)進(jìn)行了研究，從傳統(tǒng)的機(jī)器學(xué)習(xí)到深度學(xué)習(xí)等都或多或少存在識(shí)別準(zhǔn)確率低、難以匹配現(xiàn)實(shí)高復(fù)雜度場(chǎng)景、無(wú)法實(shí)時(shí)識(shí)別行為模式等問(wèn)題。本文針對(duì)上述可能存在的問(wèn)題，提出一種基于多源數(shù)據(jù)融合的電力作業(yè)人員安全預(yù)警方法。

2 問(wèn)題描述

針對(duì)電力物聯(lián)網(wǎng)領(lǐng)域的多模態(tài)作業(yè)人員行為安全預(yù)警任務(wù)，抽象其問(wèn)題描述?？紤]一個(gè)需要執(zhí)行電力作業(yè)安全預(yù)警任務(wù)的場(chǎng)地L，其中有n個(gè)可供預(yù)警的攝像頭C={Ci，i= 1，2，…，n}，對(duì)于任意的C∈iC，其對(duì)應(yīng)的角度參數(shù)為θi，在可控決策區(qū)間內(nèi)（按電力作業(yè)任務(wù)劃分），其所拍攝的電力作業(yè)視頻素材（場(chǎng)地L上的實(shí)時(shí)預(yù)警監(jiān)控）被定義為。進(jìn)一步地根據(jù)預(yù)設(shè)間隔τ，將按τ間隔進(jìn)行切幀，在篩選掉異常值后得到一組可供決策的圖像序列?，F(xiàn)有訓(xùn)練 完 備 的 多 角 度 神 經(jīng) 網(wǎng) 絡(luò) 模 型Mi={Mi，j，j= 1，2，…，l}，每一組圖像序列都將被輸入對(duì)應(yīng)的模型中并且得出預(yù)測(cè)值A(chǔ)i，k，整理后整體預(yù)測(cè)向量被定義為Ak。值得注意的是，這里的多角度電力人員行為安全預(yù)測(cè)結(jié)果是以概率的形式輸出，并且對(duì)于常規(guī)的決策級(jí)融合算法，融合結(jié)果一般被描述為：

公式（10）表明第L層的梯度可以直接傳到任何一個(gè)比它淺的層，且訓(xùn)練過(guò)程中不可能一直為-1，故該殘差神經(jīng)網(wǎng)絡(luò)不存在梯度消失的問(wèn)題。

進(jìn)入新世紀(jì)，互聯(lián)網(wǎng)行業(yè)開始爆發(fā)，已過(guò)而立之年的李彥宏、馬云、馬化騰長(zhǎng)袖善舞，“BAT”比肩接踵，并行者當(dāng)然還有京東。4G時(shí)代，移動(dòng)互聯(lián)網(wǎng)攻城略地，大殺四方。一個(gè)自稱“新聞搬運(yùn)工”的理工男張一鳴，只做了一個(gè)“今日頭條”就足以笑傲媒體江湖……

第五步：安全預(yù)警。當(dāng)模型決策出此刻作業(yè)人員的行為可能存在危險(xiǎn)性或者不規(guī)范時(shí)，一方面將現(xiàn)場(chǎng)畫面?zhèn)魉椭涟踩{(diào)度室的電腦上進(jìn)行監(jiān)督整改，另一方面通過(guò)現(xiàn)場(chǎng)廣播對(duì)作業(yè)人員發(fā)出預(yù)警，及時(shí)預(yù)防安全事故的發(fā)生。

進(jìn)一步地對(duì)于每一個(gè)攝像頭權(quán)重的更新，可以簡(jiǎn)化被描述為：

其中，w'i為更新后的權(quán)重，ri為當(dāng)前預(yù)測(cè)的樣本類別與Mi模型預(yù)測(cè)類別的異或，σ為預(yù)測(cè)錯(cuò)誤模型的權(quán)重調(diào)整參數(shù)，α為預(yù)測(cè)正確模型的權(quán)重偏置，它可以被如下公式計(jì)算：

現(xiàn)階段我國(guó)會(huì)計(jì)師事務(wù)所的業(yè)務(wù)狀況普遍呈現(xiàn)出“業(yè)務(wù)單一、傳統(tǒng)服務(wù)占主體地位”的情況，所以，會(huì)計(jì)師事務(wù)所依然是以財(cái)務(wù)報(bào)表審計(jì)、驗(yàn)資等業(yè)務(wù)為主，同時(shí)業(yè)務(wù)拓展能力十分有限。而普華永道(PWC)、畢馬威(KPMG)等“四大”事務(wù)所的審計(jì)業(yè)務(wù)收入與非審計(jì)業(yè)務(wù)基本達(dá)到了均衡的狀態(tài)，業(yè)務(wù)領(lǐng)域更是轉(zhuǎn)向了非審計(jì)服務(wù)方面，因而會(huì)計(jì)師事務(wù)所多層次發(fā)展的思考與對(duì)策對(duì)會(huì)計(jì)師事務(wù)所的持續(xù)發(fā)展是十分有益的。

其本質(zhì)即減少預(yù)測(cè)錯(cuò)誤模型的權(quán)重再按預(yù)測(cè)正確模型的權(quán)重占比進(jìn)行重新分配。本文中還使用了感知機(jī)模型來(lái)進(jìn)行融合預(yù)測(cè)，即將多個(gè)模型給出的結(jié)果作為數(shù)據(jù)輸入新的網(wǎng)絡(luò)中，由訓(xùn)練完備的分類網(wǎng)絡(luò)給出合適的預(yù)測(cè)值。

為了更清晰地描述這個(gè)問(wèn)題，本文給出其具體結(jié)構(gòu)化描述：

1）輸入：（1）用于實(shí)際預(yù)警的反饋區(qū)間參數(shù)，即可控決策區(qū)間；（2）第i個(gè)攝像頭所拍攝的視頻素材（場(chǎng)地L上的實(shí)時(shí)預(yù)警監(jiān)控）V k i；（3）預(yù)設(shè)切幀間隔τ；（4）訓(xùn)練完備的多角度神經(jīng)網(wǎng)絡(luò)模型Mi={Mi，j，j= 1，2，…，l}；（5）訓(xùn)練完備的感知機(jī)模型。

2）輸出：基于多角度模型的行為安全識(shí)別預(yù)測(cè)值，由決策級(jí)融合得到。

3）目標(biāo)：在感知機(jī)結(jié)構(gòu)下的融合，需要對(duì)融合網(wǎng)絡(luò)誤差最小化。在一般的加權(quán)融合過(guò)程中，需要對(duì)預(yù)測(cè)正確模型的收益進(jìn)行最大化，即:

但是這些措施基本沒(méi)有達(dá)到任何效果。嘉慶中期之后，八旗子弟已經(jīng)徹底腐化，宗室隊(duì)伍中，出現(xiàn)越來(lái)越多的敗類。在清查天理教起義的過(guò)程，嘉慶皇帝驚訝地得知，宗室之中，竟然也有加入邪教者！

3 基于R3D的人員安全預(yù)警方法

以R3D 為核心技術(shù)，構(gòu)建生成一個(gè)云平臺(tái)。該云平臺(tái)用于實(shí)時(shí)分析處理從施工現(xiàn)場(chǎng)捕獲的電力物聯(lián)網(wǎng)作業(yè)人員實(shí)施作業(yè)畫面，當(dāng)模型檢測(cè)出可能存在危險(xiǎn)動(dòng)作或違規(guī)行為時(shí)能夠及時(shí)發(fā)出預(yù)警。

3.1 基于R3D的行為識(shí)別及安全預(yù)警解決方案

本文基于R3D 建立的模型分為5 個(gè)步驟進(jìn)行實(shí)現(xiàn)，如圖1所示。

其中，AL，k為加權(quán)融合后的決策值，Ai，k為第i個(gè)安全預(yù)警攝像頭提供的素材對(duì)應(yīng)的預(yù)測(cè)值，wi為第i個(gè)攝像頭被賦予的權(quán)重，這里的權(quán)重與模型在角度為θi的攝像頭所獲得數(shù)據(jù)的表現(xiàn)有所聯(lián)系。為了有效衡量權(quán)重選擇的正確與否，定義效果指標(biāo)PF，其具體計(jì)算為：

圖1 基于R3D的行為識(shí)別的組織結(jié)構(gòu)圖

第一步：數(shù)據(jù)采集、清洗。將從不同數(shù)據(jù)源采集的數(shù)據(jù)進(jìn)行融合，按照步長(zhǎng)將視頻提取圖像幀，對(duì)圖像幀進(jìn)行裁剪，使其成為同一尺寸的圖像幀，利于批量照片預(yù)處理；而后將圖像幀降噪，減少數(shù)字圖像中噪聲以便后續(xù)機(jī)器學(xué)習(xí)可以從中獲得更多信息；最后將圖像幀進(jìn)行增強(qiáng)使數(shù)據(jù)更加滿足實(shí)際生產(chǎn)生活中的復(fù)雜情況。

第二步：GAN 網(wǎng)絡(luò)生成樣本。通過(guò)構(gòu)建GAN 網(wǎng)絡(luò)，對(duì)大量電力數(shù)據(jù)集進(jìn)行學(xué)習(xí)，主要學(xué)習(xí)數(shù)據(jù)集在數(shù)學(xué)層面上的分布規(guī)律，構(gòu)建出合理的映射函數(shù)，從而生成大量模仿真實(shí)的樣本數(shù)據(jù)用于模型的訓(xùn)練。GAN 網(wǎng)絡(luò)由生成器和判別器2個(gè)部分組成，生成器通過(guò)不斷優(yōu)化其網(wǎng)絡(luò)，產(chǎn)生虛假數(shù)據(jù)使得判別器無(wú)法判斷真假；判別器通過(guò)不斷優(yōu)化自身網(wǎng)絡(luò)，盡可能地從數(shù)據(jù)中判斷真假。2 個(gè)網(wǎng)絡(luò)不斷博弈，最終使得模型達(dá)到納什平衡，其目標(biāo)函數(shù)為：

《周禮·司爟》：“司爟掌行火之政令，四時(shí)變國(guó)火，以救時(shí)疾。季春出火，民咸從之。季秋內(nèi)火，民亦如之。”《注》曰：“鄭司農(nóng)云：‘以三月本時(shí)昏，心星見于辰上，使民出火。九月本黃昏，心星伏在戍上，使民內(nèi)火。故《春秋傳》曰：以出內(nèi)火?！薄蹲髠鳌ふ压辍罚骸笆课牟唬骸鹨姡嵠浠鸷?！火未出而作火，以鑄刑器，藏爭(zhēng)辟焉?；鹑缦笾换鸷螢?？’”《正義》曰：“火星未出，不得用火。”

其中，V（D，G）為GAN 的目標(biāo)函數(shù)，D網(wǎng)絡(luò)是判別函數(shù)，G網(wǎng)絡(luò)是生成函數(shù)，Ei～Px(i)[logD(i)]表示電力數(shù)據(jù)集中的樣本被判定為真實(shí)電力數(shù)據(jù)概率的數(shù)學(xué)期望，表示的是從隨機(jī)噪聲P（jj）中采樣生成的虛假電力數(shù)據(jù)樣本，經(jīng)過(guò)生成函數(shù)得到電力圖像，送入判別函數(shù)，其預(yù)測(cè)為負(fù)對(duì)數(shù)的數(shù)學(xué)期望。

第三步：模型訓(xùn)練與驗(yàn)證。將先前得到的電力數(shù)據(jù)集劃分為訓(xùn)練集與驗(yàn)證集，其中訓(xùn)練集又根據(jù)不同視覺(jué)角度將視頻劃分為不同類別進(jìn)行訓(xùn)練，得到若干個(gè)多角度的R3D 模型。最關(guān)鍵的環(huán)節(jié)在于將同一動(dòng)作的不同角度的結(jié)果進(jìn)行模型融合，最后通過(guò)疊加一層全連接層將正面、側(cè)面以及背面不同角度的模型進(jìn)行加權(quán)融合后輸出預(yù)測(cè)值。經(jīng)驗(yàn)證集后不斷調(diào)整模型參數(shù)以達(dá)到預(yù)期值。

第四步：R3D模型決策融合。在實(shí)際電力物聯(lián)網(wǎng)作業(yè)下，將不同的攝像頭放置在不同的角度記錄作業(yè)人員的作業(yè)畫面。通過(guò)分析拍攝的角度應(yīng)用不同的R3D 模型進(jìn)行判斷。最終將同一時(shí)刻不同角度拍攝的畫面進(jìn)行決策級(jí)融合或使用一層全連接層進(jìn)行判斷，得到作業(yè)人員行為安全情況。

其中，a為起始計(jì)算樣本，q為當(dāng)前計(jì)算樣本，wi為第i個(gè)攝像頭被賦予的權(quán)重，rij為Mi預(yù)測(cè)類別與實(shí)際第j個(gè)樣本類別的異或，于是傳統(tǒng)加權(quán)融合在這里可以被描述為一個(gè)最大化問(wèn)題：maxPF。

3.2 關(guān)鍵技術(shù)介紹

模型整體流程如圖2 所示。分別從數(shù)據(jù)采集與預(yù)處理、R3D模型與模型融合關(guān)鍵技術(shù)進(jìn)行介紹。

圖2 基于R3D模型的決策融合流程圖

3.2.1 數(shù)據(jù)采集與預(yù)處理

考慮到電力數(shù)據(jù)的保密需求，各工作地點(diǎn)現(xiàn)場(chǎng)采集的視頻數(shù)據(jù)可能包括例如：工作場(chǎng)所的具體位置，現(xiàn)場(chǎng)布置，文件，相關(guān)設(shè)備的運(yùn)行方式、具體型號(hào)、工作狀態(tài)以及其他相關(guān)的電網(wǎng)機(jī)密信息，這些信息涉及國(guó)家安全及商業(yè)秘密，應(yīng)保證電力數(shù)據(jù)的安全性。由于電力作業(yè)人員危險(xiǎn)行為監(jiān)測(cè)模型具有通用性，為了有更多的數(shù)據(jù)進(jìn)行精準(zhǔn)的決策，同時(shí)盡可能不大范圍公開共享這些數(shù)據(jù)，因此可引入第三方可信任機(jī)構(gòu)，如圖3 所示。所有地市公司可經(jīng)過(guò)第三方所給的公鑰進(jìn)行數(shù)據(jù)加密，將加密數(shù)據(jù)傳輸至第三方可信任機(jī)。第三方可信任機(jī)構(gòu)通過(guò)私鑰對(duì)數(shù)據(jù)進(jìn)行解密，得到所有數(shù)據(jù)后，第三方信任機(jī)構(gòu)將對(duì)模型訓(xùn)練，將得到的訓(xùn)練模型分別用私鑰加密后傳回給每個(gè)地市公司，再用公鑰進(jìn)行解密。

據(jù)第三方調(diào)研機(jī)構(gòu)數(shù)據(jù)顯示，我國(guó)水處理產(chǎn)品生產(chǎn)廠家已達(dá)到3000家，凈水設(shè)備市場(chǎng)規(guī)模已達(dá)到428萬(wàn)臺(tái)，未來(lái)7年將保持45%的年復(fù)合增長(zhǎng)率。在銷售高速增長(zhǎng)的同時(shí)，凈水器市場(chǎng)擁有著巨大的發(fā)展?jié)摿?。?duì)比來(lái)看，歐美國(guó)家凈水器普及率達(dá)90%、亞洲發(fā)達(dá)國(guó)家凈水器普及率達(dá)70%，我國(guó)凈水行業(yè)產(chǎn)品普及率不到2%。

圖3 數(shù)據(jù)采集模式

從視頻數(shù)據(jù)集中讀取視頻數(shù)據(jù)。處理視頻，將其讀取為numpy類型。每隔一定步長(zhǎng)抽取幀圖像，這里默認(rèn)設(shè)定為每4幀提取一幀，確保分解后至少有16幀圖像。如果視頻長(zhǎng)度較短而無(wú)法提取滿16 幀，則步長(zhǎng)減少，直至可以保證采集有16 幀圖像。將提取到的圖像幀進(jìn)行初始化。將每一幀利用隨機(jī)數(shù)進(jìn)行隨機(jī)切割，裁剪成112像素×112像素規(guī)格。

3.2.2 R3D模型訓(xùn)練

將數(shù)據(jù)集按照不同角度進(jìn)行劃分，分別送入R3D模型進(jìn)行訓(xùn)練。隨著網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜化，訓(xùn)練的難度也在加大［21］。理論上，越深的網(wǎng)絡(luò)，運(yùn)行結(jié)果應(yīng)該越好；但網(wǎng)絡(luò)層次的增加容易導(dǎo)致模型過(guò)擬合，出現(xiàn)一系列梯度問(wèn)題。因此，R3D 在三維卷積神經(jīng)網(wǎng)絡(luò)（C3D）模型的基礎(chǔ)上增加殘差模塊，避免過(guò)擬合。

圖5 為C3D 模型實(shí)驗(yàn)結(jié)果圖。圖5（a）與圖5（d）展示了訓(xùn)練集的精度變化和損失變化，訓(xùn)練集精度達(dá)到了94.94%，損失降到了0.224。由曲線圖可以看出訓(xùn)練過(guò)程中訓(xùn)練效果穩(wěn)定增強(qiáng)，曲線較為平滑，并且到第40個(gè)訓(xùn)練周期時(shí)，曲線接近收斂。

如圖4所示，x為輸入，F(xiàn)（x）為經(jīng)過(guò)卷積層后的輸出，在殘差網(wǎng)絡(luò)中，將淺層的x直接傳入后層，因此輸出函數(shù)H（x）=F（x）+x。通過(guò)該結(jié)構(gòu)圖，可以推理到更加通用的殘差塊公式：

圖4 殘差模塊

其中，yl為第l層輸出，xl為第l層輸入，H為第l層的輸出函數(shù)，h為映射函數(shù)，F(xiàn)為卷積處理輸出，w為權(quán)重，f為激活函數(shù)。通常情況下，殘差模塊中的激活函數(shù)使用ReLU。

當(dāng)映射函數(shù)h、激活函數(shù)f都為直接映射時(shí)，此時(shí)第l+1層的輸入可以表示為：

其中，ResNet 的直接映射的使用，使得第l+1 層的網(wǎng)絡(luò)一定比第l層擁有更多的圖像特征信息。如果直接映射的深淺層次之間網(wǎng)絡(luò)更深，則可以表示為如下公式，其中xL為第L層的輸出。

在實(shí)際電網(wǎng)項(xiàng)目建設(shè)過(guò)程中，對(duì)于不同角度的畫面等因素動(dòng)態(tài)調(diào)整權(quán)重，本文試圖用一層全連接層進(jìn)行輔助決策。決策融合公式為：

【點(diǎn)評(píng)】小作者選取自己的兩件閱讀趣事加以敘述，讓我們看到一個(gè)戴眼鏡的小書迷的形象。習(xí)作敘事清楚、流暢自然。

三、神矮LS—1臨紅2號(hào) 6月下旬至7月上旬成熟，外觀鮮紅，果個(gè)比嘎拉大，平均單果重238 g，果肉黃白，硬脆，豐產(chǎn)，貨架期長(zhǎng)，省工省力，不套袋，是繼臨紅1號(hào)后國(guó)內(nèi)早熟品種中又一個(gè)優(yōu)良蘋果新品種。

3.2.3 模型融合

根據(jù)神經(jīng)網(wǎng)絡(luò)中的導(dǎo)數(shù)鏈?zhǔn)椒▌t，則損失函數(shù)ε關(guān)于xl的梯度可以描述為：

式中，Q為加權(quán)后的概率（0≤Q≤1），wi為攝像頭i的權(quán)重，Ri為攝像頭i經(jīng)過(guò)R3D模型計(jì)算得到的概率，β為偏置。

4 實(shí)驗(yàn)與結(jié)果分析

目前無(wú)法獲取到電網(wǎng)人員作業(yè)行為視頻數(shù)據(jù)，故在本實(shí)驗(yàn)中選用UCF101 視頻數(shù)據(jù)集進(jìn)行訓(xùn)練，其應(yīng)用于多個(gè)算法的實(shí)踐測(cè)試。因此其具有很高的訓(xùn)練與遷移參考價(jià)值。

4.1 實(shí)驗(yàn)結(jié)果與分析

在訓(xùn)練集、測(cè)試集和驗(yàn)證集上，對(duì)C3D 模型和R3D模型進(jìn)行實(shí)驗(yàn)。

4.1.1 C3D模型

微課作為一種教學(xué)資源，形式靈活，情景生動(dòng)。但學(xué)生的程度不同，學(xué)習(xí)效果也存在差異，微課又可以作為課堂教學(xué)的一種有效補(bǔ)充形式，可以隨時(shí)學(xué)習(xí)，反復(fù)觀看，促進(jìn)學(xué)生個(gè)性化發(fā)展。

圖5 C3D模型在精度和損失2個(gè)指標(biāo)的實(shí)驗(yàn)結(jié)果

圖5（b）與圖5（e）展示了模型訓(xùn)練過(guò)程中驗(yàn)證集的精度變化和損失變化。40 個(gè)周期后，驗(yàn)證集精度為74.93%，損失降為1.247，效果相較于訓(xùn)練集有明顯的下降，曲線較訓(xùn)練集稍微曲折了些，但整體算平滑，在第40 個(gè)周期時(shí)也接近于收斂。圖5（c）與圖5（f）展示了測(cè)試集的精度和損失變化曲線。測(cè)試集精度達(dá)到76.59%，損失降為1.183，效果稍微好于驗(yàn)證集，但明顯不如訓(xùn)練集，存在一定的過(guò)擬合問(wèn)題。

4.1.2 R3D模型

圖6 為R3D 模型實(shí)驗(yàn)結(jié)果圖。實(shí)驗(yàn)最終得到訓(xùn)練集精度為90%，訓(xùn)練集損失為0.323，數(shù)據(jù)較為理想。曲線變化見圖6（a）與圖6（d），可以看出訓(xùn)練集精度、損失曲線較為平滑，第35個(gè)周期已接近收斂。

圖6 R3D模型在精度和損失2個(gè)指標(biāo)的實(shí)驗(yàn)結(jié)果

35個(gè)周期后，驗(yàn)證集最終精度到達(dá)76.54%，損失降為0.962，效果不如訓(xùn)練集。曲線變化見圖6（b）與圖6（e），可以觀察到相較于訓(xùn)練集曲線會(huì)更加曲折些，整體趨勢(shì)變化較為穩(wěn)定。

經(jīng)過(guò)35 個(gè)周期后測(cè)試集精度到達(dá)75.73%，損失為1.028，精度變化曲線見圖6（c），損失曲線見圖6（f）。測(cè)試集精度明顯較訓(xùn)練集小，存在一定過(guò)擬合問(wèn)題。

4.2 與其他模型的精度對(duì)比

在UCF101 數(shù)據(jù)集上，將C3D 模型與R3D 模型的精度與近年一些文獻(xiàn)中提出的行為識(shí)別模型進(jìn)行對(duì)比，結(jié)果如表1所示。從表1中可以看出，C3D模型與R3D模型在行為識(shí)別精度上具有一定優(yōu)勢(shì)，在與現(xiàn)有的一些其他模型的對(duì)比中展現(xiàn)出了較為優(yōu)秀的性能。本文將針對(duì)實(shí)驗(yàn)中C3D 模型與R3D 模型的更多細(xì)節(jié)進(jìn)行進(jìn)一步的分析。

表1 各模型精度對(duì)比

4.3 C3D與R3D實(shí)驗(yàn)對(duì)比

分別從數(shù)值上和曲線圖上對(duì)C3D 模型和R3D 模型的實(shí)驗(yàn)結(jié)果展示分析，對(duì)2 個(gè)模型在參數(shù)量、訓(xùn)練集和測(cè)試集的精度值及損失值進(jìn)行對(duì)比。

4.3.1 數(shù)值分析

四、神矮LS—1華碩 美國(guó)8號(hào)×華冠雜交育成的優(yōu)良品種，果實(shí)近圓形，果實(shí)極大，平均縱徑8.7 cm,橫徑9.6 cm，單果重326 g，最大可達(dá)750 g。果實(shí)底色綠黃，果面著鮮紅，著色面積達(dá)70%，充分成熟果面全紅，果面平滑，蠟質(zhì)多，有光澤，外觀鮮艷，果肉白，肉質(zhì)細(xì)，成花易，極豐產(chǎn)，酸甜可口。在我縣7月下旬至8月上旬成熟，是一個(gè)極有發(fā)展前途的早熟品種。

2 個(gè)算法模型數(shù)值對(duì)比見表2?？擅黠@看出R3D算法的參數(shù)量遠(yuǎn)遠(yuǎn)少于C3D算法的參數(shù)量，這主要是因?yàn)镽3D 網(wǎng)絡(luò)結(jié)構(gòu)中使用全局平均池化層來(lái)替代全連接層，大大減少了參數(shù)量。這使得R3D模型具有更加高效的識(shí)別速度，更適用于實(shí)時(shí)作業(yè)預(yù)警的任務(wù)。

從表2可以看出，2個(gè)算法的測(cè)試集精度相近，泛化能力較為接近；而C3D算法的訓(xùn)練集精度大于R3D算法，R3D 在一定程度上改善了C3D 的過(guò)擬合問(wèn)題。R3D 算法由于更快收斂只完成了35 個(gè)迭代周期，而C3D 算法模型完成了40 個(gè)迭代周期。另外，根據(jù)測(cè)試集的觀察結(jié)果，R3D 模型的損失已經(jīng)比C3D 的小，說(shuō)明R3D算法模型預(yù)測(cè)效果更接近于實(shí)際情況。

綜上可得，R3D 算法緩解了C3D 的過(guò)擬合問(wèn)題，并且在識(shí)別性能與C3D算法接近的同時(shí)，R3D算法由于參數(shù)量的顯著減少，從而大大減小了訓(xùn)練代價(jià)，因此更擅長(zhǎng)處理復(fù)雜大規(guī)模問(wèn)題。

4.3.2 曲線分析

圖7（a）與圖7（b）展示了2個(gè)算法的精度曲線、損失曲線變化對(duì)比。R3D 算法在25 個(gè)迭代周期左右便開始趨于收斂，而C3D 算法要?dú)v經(jīng)35 個(gè)迭代周期左右才開始收斂。雖然R3D 算法的精度最后由于波動(dòng)低于C3D 算法的精度，但整體看來(lái)，R3D 算法的精度要高于C3D 算法。在R3D 算法中多次進(jìn)行了批量歸一化，加快了收斂速度，同時(shí)R3D 算法模型實(shí)驗(yàn)時(shí)設(shè)置的學(xué)習(xí)率也更大。因此在損失曲線對(duì)比中，可以明顯看出R3D 曲線降幅大于C3D 算法，損失更小，同時(shí)收斂也更快。最終R3D 算法的損失低于C3D 算法，表明R3D算法具有更加穩(wěn)定的預(yù)測(cè)效果。

圖7 C3D與R3D模型精度和損失指標(biāo)曲線對(duì)比

綜上可得，R3D算法改善了C3D算法收斂緩慢的不足，減少了訓(xùn)練代價(jià)，并且最終的識(shí)別性能并不輸于C3D算法。

5 結(jié)束語(yǔ)

針對(duì)當(dāng)前我國(guó)高速發(fā)展的電網(wǎng)建設(shè)與人為導(dǎo)致的安全事故矛盾，本文提出了一種基于R3D 模型多源數(shù)據(jù)融合決策的電力物聯(lián)網(wǎng)作業(yè)人員的實(shí)時(shí)行為安全預(yù)警平臺(tái)。通過(guò)C3D 模型與R3D 模型的比較，可以發(fā)現(xiàn)R3D 模型具有參數(shù)量少、收斂快等優(yōu)點(diǎn)，能夠在保證高精準(zhǔn)度的情況下，進(jìn)行實(shí)時(shí)的安全預(yù)警。此外，利用云平臺(tái)的高性能、數(shù)據(jù)可靠、設(shè)備獨(dú)立性等優(yōu)點(diǎn)構(gòu)建可靠的算力平臺(tái)。最后，在對(duì)UCF101 公開視頻數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證可以得到75.73%的準(zhǔn)確率，表明本文的實(shí)時(shí)行為安全預(yù)警平臺(tái)可以有效地對(duì)電力作業(yè)人員的行為進(jìn)行行為預(yù)警，盡可能地減少電力作業(yè)人員安全事故的發(fā)生。