郝聰 郝婷 鄧樂晨 柳萬

作者簡介：郝聰（1992— ），男，山西大同人，工程師，碩士；研究方向：礦山智能化與安全。

摘要：當前人工智能技術日益發(fā)展，為了更好地減輕煤礦視頻監(jiān)控人員工作量，保障煤礦作業(yè)人員安全，減少事故發(fā)生，文章針對礦井人員勞動保護用品穿戴和危險場景侵入情況，設計了一種基于EasyDL平臺的視頻監(jiān)測預警系統(tǒng)。此系統(tǒng)基于人工智能EasyDL平臺，建立個人勞保穿戴、進入危險區(qū)域、處于運行中的移動設備兩側(cè)和攀、坐不安全位置的監(jiān)測模型，識別煤礦工人的違章行為，及時記錄并給出警示。預警系統(tǒng)應用結(jié)果表明，該系統(tǒng)能夠較準確地識別違章行為并作出及時反饋，有助于保障煤礦作業(yè)人員的安全。

關鍵詞：人工智能；EasyDL；煤礦工人；安全

中圖分類號：TD79? 文獻標志碼：A

0? 引言

近年來，我國煤礦技術設備和管理水平不斷提高，安全生產(chǎn)形勢逐年好轉(zhuǎn)，但與國內(nèi)其他行業(yè)相比，煤炭行業(yè)事故發(fā)生頻率依舊偏高，安全形勢依舊嚴峻［1］。煤炭企業(yè)為了動態(tài)掌握安全生產(chǎn)情況，強化勞動安全管理，通常會在煤炭采區(qū)、重要場所和危險區(qū)域安裝視頻監(jiān)控系統(tǒng)，并安排專人24小時持續(xù)監(jiān)控。這種方式要求視頻監(jiān)控人員注意力保持高度集中，但生產(chǎn)作業(yè)場所較多，作業(yè)人員復雜，靠人力監(jiān)督的方式極易出現(xiàn)疏漏，采用新技術和新方法改進現(xiàn)有人工監(jiān)控的管理方式是必然趨勢。

隨著信息化時代的到來，人工智能和深度學習技術在交通運輸、建筑施工、生物分類等領域得到廣泛應用［2-9］。深度學習以大量的樣本訓練為基礎，通過多層卷積和池化操作提取圖像特征，自動學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，最終達到能像人一樣具有學習分析能力［10］。隨著數(shù)字化礦山建設逐步推進，煤炭開采特殊的生產(chǎn)方式更加凸顯了智能技術在安全管理的重要性，相關技術和專利在大型設備遠程控制、多系統(tǒng)融合與自動化辦公中得到廣泛應用，但在煤礦作業(yè)人員行為安全管理中的應用較少。因此設計基于EasyDL平臺的視頻監(jiān)測預警系統(tǒng)并應用到對煤礦作業(yè)人員行為管理中，將極大地節(jié)省人力成本，提高煤炭企業(yè)智能安全管理水平。

EasyDL是基于卷積神經(jīng)網(wǎng)絡的產(chǎn)業(yè)級深度學習開源開放平臺。低成本、高精度的EasyDL正在眾多實際應用中為各行企業(yè)賦能［11-16］。本文利用EasyDL平臺構建不安全行為預警識別監(jiān)測模型。通過該平臺實現(xiàn)模型數(shù)據(jù)集的標注、訓練和檢驗，并利用該平臺特有的兼容性，實現(xiàn)對被監(jiān)測目標的精確檢測。

1? 預警系統(tǒng)功能

本文使用圖像監(jiān)測技術對煤礦工人安全帽等勞保穿戴情況進行深度學習，構建監(jiān)測模型。系統(tǒng)通過本地局域網(wǎng)接入危險場景視頻監(jiān)控。監(jiān)測模型通過提取視頻流數(shù)據(jù)識別視頻中是否出現(xiàn)安全帽等，不僅可以判斷人員是否發(fā)生侵入行為，還可以記錄報警信息幫助管理人員進行閉環(huán)管理。

預警功能實現(xiàn)主要包含3個步驟：（1）基于EasyDL平臺建立個人防護用品穿戴監(jiān)測模型和危險場景人員侵入監(jiān)測模型。（2）通過局域網(wǎng)以固定IP方式將現(xiàn)有視頻監(jiān)控系統(tǒng)中的監(jiān)控視頻窗口接入監(jiān)測模型。（3）通過接入的視頻監(jiān)控提取視頻流數(shù)據(jù)進行監(jiān)測并預警。

2? 監(jiān)測系統(tǒng)設計

基于EasyDL平臺構建監(jiān)測模型，將作業(yè)人員穿戴的安全帽等作為監(jiān)測數(shù)據(jù)進行標注并訓練，主要分為以下3個步驟：（1）數(shù)據(jù)獲取與處理；（2）模型訓練與檢驗；（3）模型部署。

2.1? 數(shù)據(jù)獲取與處理

監(jiān)測模型的基礎環(huán)節(jié)是數(shù)據(jù)信息的收集和處理。數(shù)據(jù)集的質(zhì)量和代表性在監(jiān)測模型創(chuàng)建中起著決定性的作用，本文圖像數(shù)據(jù)來自內(nèi)蒙古某生產(chǎn)礦井，采用截取監(jiān)控視頻畫面的方法進行圖像數(shù)據(jù)收集。監(jiān)測模型訓練的圖片數(shù)據(jù)信息數(shù)量越多，理論上模型訓練的效果就越好，本文監(jiān)測模型數(shù)據(jù)集由841張圖像數(shù)據(jù)構成。數(shù)據(jù)訓練之前需要對被監(jiān)測物件的類型、數(shù)量和位置進行標注，標注的數(shù)目越多，模型訓練的效果越好。

2.2? 模型訓練與檢驗

EasyDL模型訓練結(jié)果效果指標有3個：召回率、精準率和mAP。召回率表示數(shù)據(jù)標注正確識別的數(shù)量占真實物體的比例；精準率表示數(shù)據(jù)標注正確識別的數(shù)量占數(shù)據(jù)標注總數(shù)的比例；mAP是衡量訓練結(jié)果的指標，mAP的值越接近于1，說明訓練結(jié)果越好。本文數(shù)據(jù)集進行了3次模型訓練，3次模型訓練結(jié)果指標和訓練時長如表1所示。通過表1可知，隨著模型訓練圖片數(shù)量與標注數(shù)量的提升，模型訓練效果會有小幅度提升。

2.3? 模型部署

EasyDL監(jiān)測模型部署分為4大類：云端模型部署、本地主機部署、通用設備端SDK部署和專用設備開發(fā)套件部署。本監(jiān)測模型將進行本地主機部署。

3? 系統(tǒng)應用場景

該監(jiān)測預警系統(tǒng)除了適用于煤礦工人安全帽等個人勞保用品穿戴情況監(jiān)測，還適用于《某礦危險場景控制措施》中的3種場景，即進入危險區(qū)域、處于運行中的移動設備兩側(cè)和攀、坐不安全位置。當煤礦工人違反上述規(guī)定，進入相關危險場景，預警系統(tǒng)能夠進行識別并報警，同時記錄運行日志。

3.1? 危險區(qū)域識別

隨著煤礦礦井開采深度與規(guī)模的擴大，煤礦井下廣泛分布的臨時或永久的危險區(qū)域給煤礦工人的人身安全也帶來了一定的威脅。井下危險區(qū)域主要包括盲巷、采空巷、高墜區(qū)、構造區(qū)、觸電區(qū)、突水區(qū)等。危險區(qū)域因其本身存在較高的危險性，是安全事故發(fā)生概率較大的原因之一。同時，煤礦工人對危險區(qū)域認識不足，安全意識淡薄，對是否身處危險區(qū)域認識不清，對可能發(fā)生的后果缺乏判斷，也是安全事故發(fā)生概率較大的重要原因。因此，通過攝像頭監(jiān)控危險區(qū)域進行智能監(jiān)測預警，可以及時可靠地識別煤礦工人進入危險區(qū)域行為，降低安全風險，減少安全事故發(fā)生的可能性。

3.2? 處于運行中的移動設備兩側(cè)識別

井下生產(chǎn)作業(yè)車輛包括破碎機、梭車、綜掘機、錨桿鉆車、裝載機、液壓支架車等，這些車輛設備體型巨大，液壓支架車寬度可達4～5 m，而井下輔運巷道普遍5～6 m。當這種體型巨大的車輛在巷道內(nèi)行駛時，兩側(cè)可容煤礦工人行走的空間非常有限。當工作面車輛開車作業(yè)時，因生產(chǎn)工作面條件更惡劣，底板會分散大量煤塊，車輛運行中碾壓煤塊必然會產(chǎn)生晃動和漂移，如果此時車輛兩側(cè)站立煤礦工人，極有可能發(fā)生擠壓事故，這種被大型車輛擠壓的后果非常嚴重。因此，對運行中的移動設備兩側(cè)是否出現(xiàn)煤礦工人進行實時監(jiān)測，可有效減少安全風險。

3.3? 攀、坐不安全位置識別

攀、坐不安全位置是由于煤礦工人作業(yè)過程中存在僥幸心理而常發(fā)生的不安全行為之一。煤礦工人發(fā)生此類不安全行為通常是攀爬巷道煤壁、機電設備和各類水管進行作業(yè)，或坐在連采機飛翼、靠坐帶電設備等。當設備突然發(fā)生意外，很可能導致煤礦工人墜落、觸電等意外事故，造成人員傷亡。因此對煤礦工人是否發(fā)生攀、坐不安全位置的不安全行為進行實時監(jiān)測十分必要。

4? 預警系統(tǒng)

預警系統(tǒng)主要有4個模塊組成：監(jiān)控模塊、監(jiān)測模塊、預警模塊、信息模塊。各個模塊的主要功能如下：

4.1? 監(jiān)控模塊

監(jiān)控模塊主要功能是通過設置在井下的高清攝像頭，將監(jiān)控畫面視頻流實時上傳到Web顯示終端，每個視頻流具有獨立的地址，視頻流抽幀監(jiān)測設置，如表2所示。

4.2? 監(jiān)測模塊

將高度定制化的模型部署到本地主機上，進行煤礦局域網(wǎng)內(nèi)部使用和調(diào)整，最大限度上滿足數(shù)據(jù)隱私的需求。監(jiān)測模塊的運行流程如圖1所示。監(jiān)測模塊接收到圖像數(shù)據(jù)后：一方面，進行人臉識別與員工數(shù)據(jù)庫進行配對確定人員信息；另一方面，使用訓練過的EasyDL監(jiān)測模型進行行為檢測，做出判別。如果出現(xiàn)不安全行為則發(fā)出預警信息，并錄入運行日志。

4.3? 預警模塊

若監(jiān)測模型檢測到預設的不安全行為，則通過Web彈窗的方式彈出預警圖標進行預警，第一時間引起現(xiàn)場作業(yè)人員警覺，預警監(jiān)測模型運行情況如表3所示。預警模型還可進行編輯、刪除和查看云端數(shù)據(jù)功能，方便人員進行管理。

4.4? 信息模塊

信息模塊包括員工個人信息數(shù)據(jù)庫、預警信息記錄和運行日志統(tǒng)計。員工預警信息記錄有員工姓名、部門、班組、工種、職務、報警類型、報警描述和報警狀態(tài)等信息（如：員工姓名王某亮，部門綜掘一隊，班組生產(chǎn)二班，工種錨桿機司機，職務為職工，報警類型為接近突水區(qū)危險區(qū)，報警描述為職工王某亮接近突水區(qū)危險區(qū)）。預警信息記錄是安全管理人員確保隱患消除后進行事后信息錄入，運行日志統(tǒng)計會將所有預警信息放入數(shù)據(jù)庫進行存儲和統(tǒng)計，方便安全管理人員進行隱患統(tǒng)計分析，制定有針對性的隱患整改措施。

5? 結(jié)語

該預警監(jiān)測系統(tǒng)接入某礦視頻監(jiān)控后進行為期一周試運行，運行期間共接入視頻監(jiān)控視頻流IP地址14個，進行危險場景煤礦工人侵入監(jiān)測，預警系統(tǒng)能夠做到精準識別人員侵入行為。

本文僅是人工智能技術在煤礦生產(chǎn)活動中監(jiān)控方面的初步應用，盡管利用 EasyDL平臺構建礦井危險區(qū)域人員監(jiān)測模型不能全面覆蓋所有違規(guī)行為，但基于EasyDL平臺構建模型操作簡單，獲得的模型效果良好，為促進人工智能在煤礦作業(yè)和人員行為監(jiān)控方面的應用提出新的思路。

參考文獻

［1］孟遠，謝東海，蘇波，等.2010—2019年全國煤礦生產(chǎn)安全事故統(tǒng)計與現(xiàn)狀分析［J］.礦業(yè)工程研究，2020（4）：27-33.

［2］LEE E J，KO B C，NAM J Y.Recognizing pedestrians unsafe behaviors in far-infrared imagery at night［J］.Infrared Physics & Technology，2016（3）：261-270.

［3］SHAHVERDY M，F(xiàn)ATHY M，BERANGI R，et al.Driver behavior detection and classification using deep convolutional neural networks［J］.Expert Systems with Applications，2020（7）：1-12.

［4］SANGUK H，SANGHYUU L.A vision-based motion capture and recognition framework for behavior-based safety management［J］.Automation in Construction，2013（11）：131-141.

［5］YU Y，GUO H L，DING Q，et al.An experimental study of real-time identification of construction workers unsafe behaviors［J］.Automation in Construction，2017（10）：193-206.

［6］FANG W，ZHONG B，ZHAO N，et al.A deep learming-based approach for mitigating falls from height with computer vision：Convolutional neural network［J］.Advanced Engineering Informatics，2019（1）：170-177.

［7］張明媛，曹天卓，趙雪峰.基于ANN識別施工人員跌落險兆事故的研究［J］.安全與環(huán)境學報，2018（5）：1703-1710.

［8］韓豫，張涇杰，孫昊，等.基于圖像識別的建筑工人智能安全檢查系統(tǒng)設計與實現(xiàn)［J］.中國安全生產(chǎn)科學技術，2016（10）：142-148.

［9］趙江平，王垚.基于圖像識別技術的不安全行為識別［J］.安全與環(huán)境工程，2020（1）：158-165.

［10］張喜紅，王玉香.基于百度AI中藥材品鑒助手系統(tǒng)的設計［J］.新余學院學報，2019（2）：25-28.

［11］傅駿，傅馨竹，龍輝陽，等.人工智能技術輔助開發(fā)“智鑄”系統(tǒng)［J］.中小企業(yè)管理與科技，2020（1）：166-167.

［12］林宇.EasyDL在海洋生物分類中的應用［J］.電子世界，2022（2）：164-165.

［13］賀歡歡，黃杰.基于EasyDL平臺視頻事件監(jiān)測系統(tǒng)在鐵路運維中的應用［J］.無線互聯(lián)科技，2020（8）：153-155.

［14］竺煒，王可.基于EasyDL提升回收卷煙包裝箱效率的功能實現(xiàn)［J］.數(shù)字技術與應用，2021（4）：125-127.

［15］張連兆，徐惠東，李萍.定制化訓練平臺Easy DL在菠蘿果實識別中的應用［J］.無線互聯(lián)科技，2019（7）：131-132.

［16］孟海濤，王闖，王越.基于EasyDL樹木蟲害識別的人工智能實驗演示系統(tǒng)設計與實現(xiàn)［J］.實驗室研究與探索，2021（10）：72-76，102.

（編輯? 姚? 鑫）

Application of EasyDL in monitoring and early warning of coal miners

Hao? Cong1， Hao? Ting2， Deng? Lechen1， Liu? Wan1

（1.China Huadian Inner Mongolia Mengtai Buliangou Coal Industry Co.， Ltd.， Erdos 010300， China;

2.Xuhai College， China University of Mining and Technology， Xuzhou 221000， China）

Abstract： With the increasing development of artificial intelligence technology， in order to better reduce the workload of coal mine video surveillance personnel， ensure the safety of coal mine operators， and reduce accidents， this article designs a video monitoring and warning system based on EasyDL platform to address the risk of hazardous scene intrusion caused by the wearing of labor protection equipment by coal mine personnel. This system is based on the artificial intelligence EasyDL platform， and establishes a monitoring model for personal labor protection wear， entry into hazardous areas， on both sides of mobile devices in operation， and unsafe climbing and sitting positions. It identifies some illegal behaviors of coal miners， timely records and provides warnings. The application results of the early warning system indicate that the system can accurately identify violations and provide timely feedback， which helps to further ensure the safety of coal mine operators.

Key words： artificial intelligence; EasyDL; coal miners; safety