韓 龍，王順葵，陳廣炎，朱小葉，徐 滔，蔡嘉良

(黑龍江科技大學 電氣與控制工程學院，黑龍江 哈爾濱)

引言

煤礦井下重要設備需要定期進行巡檢和維護，但由于設備數(shù)量眾多、布局分散，目前多依賴于人工巡檢和維護，導致巡檢維護工作量大，成本高，且存在一定的安全隱患。2021 年12 月21 日，工業(yè)和信息化部、國家礦山安全監(jiān)察局等十五部門聯(lián)合印發(fā)《“十四五”機器人產(chǎn)業(yè)發(fā)展規(guī)劃》，提出面向采礦業(yè)，重點推進采掘、支護、鉆孔、巡檢、重載輔助運輸?shù)葯C器人重點產(chǎn)品的研制及應用[1]。利用機器人取代煤礦井下工作人員巡查，具有不受時間和空間限制、效率高和勞動強度低等優(yōu)點，且有助于進一步消除煤礦井下監(jiān)控死角和安全盲區(qū)，從而實現(xiàn)煤礦無人化生產(chǎn)。國內(nèi)外許多企業(yè)和學者對煤礦巡檢機器人進行了大量的研究與應用，2021 年3 月，陜煤集團黃陵礦業(yè)公司部署煤礦巡檢機器人群，該機器人群可以實現(xiàn)遠程操控、智能巡檢，減輕了約180 位巡檢工人的工作量[2]。李忠奎等設計了煤礦軌道式巡檢機器人，該巡檢機器人具有電機和輥筒異常監(jiān)測、有害氣體檢測和熱成像監(jiān)控等功能，可實現(xiàn)無死角監(jiān)測[3]。石宏民設計了一種履帶式巷道巡檢機器人，搭載多種環(huán)境參數(shù)檢測傳感器、遠紅外攝像頭、智能機械臂等，輔以智能識別算法和上位機操作系統(tǒng)，實現(xiàn)了對巷道全方位智能巡檢[4]。鞠晨等研制了適用于薄煤層工作面的巡檢機器人，實現(xiàn)了對工作面采場的多維度精準感知、監(jiān)測，保障工作面智能精確感知和高效控制的無人化開采[5]。煤礦巡檢機器人大多實現(xiàn)對環(huán)境和監(jiān)測對象精準監(jiān)測，但對機器人本體運行狀態(tài)可視化監(jiān)控研究很少，目前的可視化監(jiān)控技術已經(jīng)取得了一定成果，但機器人可視化效果不夠優(yōu)化，功能較為單一，人機交互性不夠好。

數(shù)字孿生技術能夠創(chuàng)建一個實時精準的可視化虛擬監(jiān)控系統(tǒng)，有助于構建更高層次的巡檢機器人遠程操作系統(tǒng)，為上述問題的解決提供了新途徑。因此，筆者提出了基于VR 和數(shù)字孿生的煤礦井下巷道巡檢機器人，通過構建巡檢機器人數(shù)字孿生體，來實現(xiàn)對機器人運行狀態(tài)進行遠程監(jiān)控及完成巷道巡檢任務。

1 系統(tǒng)的總體設計方案

煤礦井下巷道巡檢機器人硬件結構框圖如圖1所示。

圖1 煤礦井下巷道巡檢機器人的硬件結構框圖

機器人采用履帶式車體，應用ROS2 開發(fā)。機器人分為導航控制單元、監(jiān)測單元和數(shù)字虛擬軟件平臺三部分。導航控制單元實現(xiàn)激光雷達導航和機器人運動控制功能。激光雷達掃描礦下巷道全景，生成巷道二維柵格地圖，再生成全局代價地圖和局部代價地圖，輸出規(guī)劃地圖以實現(xiàn)煤礦井下復雜環(huán)境的智能導航。監(jiān)測單元對機器人的運行狀態(tài)、電池電量及巷道內(nèi)甲烷等氣體進行檢測與處理，應用攝像頭獲取巷道場景圖像，同時利用YOLOv5 算法識別礦工是否佩戴安全帽和自救器；數(shù)字虛擬軟件平臺主要利用VR 設備來實現(xiàn)巡檢機器人數(shù)字孿生體的可視化同步控制。

2 VR 和數(shù)字孿生平臺建立

2.1 VR 建模與數(shù)據(jù)交互

在黑龍江科技大學模擬礦井巷道內(nèi)，按照規(guī)劃路徑進行拍攝，捕捉巷道路面和墻壁各個角度、不同深度和紋理等細節(jié)信息。同時也對巡檢機器人進行拍照與測量，獲得相應信息。

將照片導入到圖像處理軟件進行后期處理獲得巷道和巡檢機器人的基礎數(shù)據(jù)，然后通過建模軟件Blender 依據(jù)數(shù)據(jù)手動構建模擬礦井巷道和巡檢機器人的虛擬模型。模型完成后，通過USD 流程將模型導入到虛幻引擎軟件中。利用虛幻引擎軟件可以對模擬礦井巷道進行建模，應用適當?shù)募y理、光照和物理效果來增強虛擬巷道的真實感，在計算機中建立的模擬礦井巷道虛擬平臺如圖2 所示。完成對模擬礦井巷道的建模后，將虛幻引擎項目導出為可執(zhí)行文件存儲到VR 頭盔中。虛幻引擎通過Open XR 協(xié)議與VR 頭盔之間進行數(shù)據(jù)的實時傳輸和同步。虛幻引擎根據(jù)接收到的頭盔傳感器數(shù)據(jù)，實時渲染虛擬場景中的畫面。VR 頭盔配備了人機交互設備手柄，手柄通過無線通訊向計算機發(fā)送數(shù)據(jù)，這些數(shù)據(jù)用于控制虛擬現(xiàn)實平臺上數(shù)字巡檢機器人的運動，進而同步控制物理巡檢機器人的運動。

圖2 模擬礦井巷道虛擬平臺

2.2 數(shù)字孿生數(shù)據(jù)交互

數(shù)字孿生(Digital Twin，DT) 是以數(shù)字化方式創(chuàng)建物理實體的虛擬模型，通過虛實交互反饋、數(shù)據(jù)融合分析、決策迭代優(yōu)化等手段，為物理實體提供更加實時、高效、智能的運行或操作服務[6]。通過構造煤礦井下巷道巡檢機器人的數(shù)字孿生體，不僅能高度逼真地反映機器人實體的特征、運行和性能，還能在虛擬巷道環(huán)境中實現(xiàn)對物理巡檢機器人的狀態(tài)監(jiān)控。

數(shù)字孿生煤礦井下巷道巡檢機器人是一個數(shù)據(jù)可視化、人機強交互三維鏡像，包括物理巡檢機器人、數(shù)字巡檢機器人和數(shù)據(jù)信息交互等3 個部分，其概念模型如圖3 所示。

圖3 煤礦井下巷道巡檢機器人的數(shù)字孿生概念模型

物理巡檢機器人通過5G 無線通訊模塊將數(shù)據(jù)發(fā)送到遠端云服務器。同時，機器人的控制器也能接收云服務器發(fā)送過來的指令和數(shù)據(jù)。建立云服務器的數(shù)據(jù)庫，在云服務器上通過Python 腳本監(jiān)控物理巡檢機器人和虛擬平臺端的數(shù)字巡檢機器人，將收到的數(shù)據(jù)進行解析處理之后，存入相應數(shù)據(jù)庫。通過另外一個Python 腳本監(jiān)控數(shù)據(jù)庫，只要相應數(shù)據(jù)庫有更新，就立即將所更新的數(shù)據(jù)分發(fā)到物理巡檢機器人和數(shù)字巡檢機器人，以保證物理巡檢機器人和數(shù)字巡檢機器人的數(shù)據(jù)實時同步。物理巡檢機器人與數(shù)字巡檢機器人數(shù)據(jù)交互如圖4 所示。

圖4 巡檢機器人數(shù)字孿生數(shù)據(jù)交互

3 系統(tǒng)測試與分析

巡檢機器人在黑龍江科技大學模擬礦井巷道中進行測試，測試現(xiàn)場如圖5 所示。工作人員佩戴VR 設備對虛擬礦井巷道中的數(shù)字巡檢機器人進行運動控制，從而實現(xiàn)遠程對物理巡檢機器人的同步控制。物理巡檢機器人也可通過激光雷達自主導航在巷道內(nèi)巡檢，巡檢過程中將巷道內(nèi)甲烷、氧氣、CO 氣體和圖像信息通過5G 模塊上傳到虛擬礦井巷道平臺軟件中，巡檢機器人的運動狀態(tài)和電池電量等信息顯示在虛擬平臺軟件界面上，便于工作人員監(jiān)控模擬礦井巷道及巡檢機器人狀況，虛擬平臺軟件如圖6 所示。

圖5 黑龍江科技大學模擬礦井測試現(xiàn)場

圖6 虛擬平臺軟件界面

物理巡檢機器人通過攝像頭捕捉礦工的安全帽和自救器圖像信息，通過YOLOv5 算法對礦工的安全帽和自救器進行目標檢測，識別效果如圖7 所示。從圖7可以看出，安全帽識別準確率在90%以上，自救器識別準確率在80%以上。

圖7 安全帽和自救器識別效果

4 結論

本文利用VR 和數(shù)字孿生技術設計了煤礦井下巷道巡檢機器人，在建立的虛擬礦井巷道平臺實現(xiàn)了物理巡檢機器人與數(shù)字機器人的同步控制，同時可將實時檢測到的甲烷、氧氣、機器人的電量和運行狀態(tài)顯示在虛擬平臺上，增強了機器人巡檢可視化的效果，人機交互性好。巡檢機器人采用YOLOv5 算法對礦工的安全帽和自救器進行識別，檢測實時性好，檢測精度較高，可以高效監(jiān)控礦工的違規(guī)行為，有力推進煤礦安全管理工作。