胡金成,張立斌,蔣澤,姚超修,蔣志龍,王正義
(1.中煤科工集團(tuán)常州研究院有限公司,江蘇 常州 213015;2.天地(常州)自動(dòng)化股份有限公司,江蘇 常州 213015;3.常州工學(xué)院 土木建筑工程學(xué)院,江蘇 常州 213032)
瓦斯抽采鉆場(chǎng)打鉆是煤礦井下瓦斯治理的關(guān)鍵環(huán)節(jié)之一[1-2],鉆孔施工情況直接影響瓦斯抽采效果與煤礦生產(chǎn)安全[3-4]。驗(yàn)證施工過程中的鉆桿數(shù)等信息可有效防止打假鉆、虛報(bào)進(jìn)尺和不按設(shè)計(jì)路徑打鉆等情況,確保鉆孔的施工質(zhì)量。然而,井下打鉆地點(diǎn)與地面進(jìn)行信息交互存在較大困難。記錄施工信息的傳統(tǒng)方式包括人工記錄、語音通話與終端記錄。人工記錄可能出現(xiàn)漏記、多記、錯(cuò)記等情況,且記錄效率低、誤差大、實(shí)時(shí)性較差;打鉆施工人員通過語音通話告知地面施工信息,事后檢閱并數(shù)鉆桿耗費(fèi)額外人力;終端記錄可人為手動(dòng)控制,但數(shù)據(jù)不可靠[5]。此外,現(xiàn)有基于人工及儀器的鉆桿計(jì)數(shù)法存在精度較低、耗時(shí)費(fèi)力等問題[6]。
傳統(tǒng)的視頻監(jiān)控系統(tǒng)在鉆孔施工及退鉆桿期間,執(zhí)行“一鉆一攝像、一孔一視頻”管理辦法,在地面調(diào)度室通過視頻對(duì)鉆孔施工現(xiàn)場(chǎng)的鉆進(jìn)、退桿進(jìn)行實(shí)時(shí)監(jiān)督,代替人工驗(yàn)孔,減少了大量驗(yàn)孔人員,且保證了鉆孔進(jìn)尺的真實(shí)性,杜絕虛報(bào)進(jìn)尺現(xiàn)象。然而,傳統(tǒng)的視頻監(jiān)控系統(tǒng)只具有監(jiān)測(cè)和存儲(chǔ)功能,重要的過程參數(shù)或信息只能由監(jiān)測(cè)人員通過視頻錄像查看[7-8]。
隨著大數(shù)據(jù)、深度學(xué)習(xí)、圖像識(shí)別等技術(shù)的快速發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)搭建模型對(duì)視頻和圖像進(jìn)行處理,成為實(shí)現(xiàn)AI 視頻監(jiān)控的重要手段,有效節(jié)約人力資源和提高監(jiān)控效率[9-12]。通過查閱大量參考文獻(xiàn)[13-18],發(fā)現(xiàn)目前AI 視頻分析技術(shù)已在煤礦智能視頻分析領(lǐng)域取得不少研究成果,但AI 視頻分析技術(shù)在瓦斯抽采鉆場(chǎng)視頻識(shí)別領(lǐng)域應(yīng)用較少。
針對(duì)煤礦井下鉆場(chǎng)記錄施工信息易出錯(cuò)、鉆場(chǎng)管理人員難以連續(xù)監(jiān)控現(xiàn)場(chǎng)視頻、人工驗(yàn)收模式效率低且易出現(xiàn)打假鉆情況等問題,本文提出一種基于AI 視頻分析的煤礦瓦斯抽采鉆場(chǎng)遠(yuǎn)程監(jiān)督管理方法。該方法通過AI 分析識(shí)別出打鉆流程后分段存儲(chǔ)錄像、記錄施工參數(shù),基于AI 分析提供無人值守模式,對(duì)打鉆全過程進(jìn)行分析與管控,解決了鉆點(diǎn)信息需要人工錄入、打鉆過程錄像需要人工控制起止時(shí)間的問題,同時(shí)解決了鉆桿計(jì)數(shù)需要通過人工回看退鉆錄像,占用大量人工時(shí)間并容易出現(xiàn)計(jì)數(shù)錯(cuò)誤的問題。
打鉆工作前,應(yīng)根據(jù)工作要求制定詳細(xì)的作業(yè)計(jì)劃,明確工作目標(biāo)和任務(wù)。打鉆作業(yè)應(yīng)依次執(zhí)行開孔、收孔、封孔3 個(gè)流程,并分別錄制視頻。打鉆作業(yè)流程如圖1 所示。準(zhǔn)備工作:設(shè)計(jì)并下發(fā)打鉆任務(wù)。執(zhí)行過程:在接收并開始打鉆任務(wù)后,啟用目標(biāo)檢測(cè)與OCR(Optical Character Recognition,光學(xué)字符識(shí)別 )識(shí)別服務(wù),根據(jù)依次識(shí)別到的開孔、收孔、封孔流程與施工參數(shù),打鉆管理系統(tǒng)自動(dòng)執(zhí)行是否錄像與保存參數(shù)的相應(yīng)操作,直到結(jié)束打鉆任務(wù)。當(dāng)識(shí)別出開始收孔,啟用退桿分析服務(wù);當(dāng)識(shí)別出結(jié)束收孔,停止退桿分析服務(wù)。
實(shí)際打鉆過程中,井下工人需舉牌管理。在開始開孔、開始收孔、開始封孔任務(wù)施工前,需吸附上流程編號(hào)磁貼,并舉牌對(duì)準(zhǔn)攝像儀;在結(jié)束開孔、結(jié)束收孔、結(jié)束封孔任務(wù)施工前,需貼上流程編號(hào),填入對(duì)應(yīng)施工信息,并舉牌對(duì)準(zhǔn)攝像儀。在退桿分析時(shí),要求攝像儀正對(duì)鉆機(jī)與鉆桿,能夠清晰拍攝退桿過程,拍攝環(huán)境光照良好。退桿分析只在收孔過程進(jìn)行,開孔與封孔階段不進(jìn)行退桿分析。
基于AI 視頻分析的煤礦瓦斯抽采鉆場(chǎng)遠(yuǎn)程監(jiān)督管理方法涉及信息牌檢測(cè)、OCR 識(shí)別、退桿分析3 種算法。信息牌檢測(cè)用于檢測(cè)當(dāng)前施工環(huán)節(jié);OCR 識(shí)別用于識(shí)別信息牌上打鉆流程與施工信息;退桿分析用于分析收孔階段的退桿數(shù),從而實(shí)現(xiàn)打鉆作業(yè)的全過程分析與管控。
信息牌檢測(cè)算法以YOLOv5 算法為核心,采用TensorRT 加速,流程如圖2 所示。先逐幀掃描監(jiān)控視頻,再根據(jù)檢測(cè)信息牌邊框與表格特征信息來判斷信息牌在視頻畫面中的大小是否達(dá)到60%,若達(dá)到60%則認(rèn)為檢測(cè)到信息牌目標(biāo),并截取信息牌圖像。需注意的是,信息牌檢測(cè)過程要求信息牌正對(duì)攝像儀且光照良好。
圖2 信息牌檢測(cè)算法流程Fig.2 Process of information board detection algorithm
YOLOv5 算法是一種從端到端的檢測(cè)算法,其核心是卷積神經(jīng)網(wǎng)絡(luò)的特征結(jié)構(gòu)提取,可識(shí)別輸入目標(biāo)類別及輸出位置,廣泛應(yīng)用于圖像分類等場(chǎng)景[19-20],其模型結(jié)構(gòu)如圖3 所示。Focus 結(jié)構(gòu)對(duì)輸入目標(biāo)的維度進(jìn)行切片操作,減少目標(biāo)原始特征信息的丟失,并提高模型計(jì)算速度,經(jīng)過一系列卷積操作得到不同尺寸的特征圖像;通過特征融合結(jié)構(gòu)對(duì)特征圖像進(jìn)行采樣,將其處理成相同大小,然后進(jìn)行特征融合及卷積,得到3 個(gè)具有更強(qiáng)特征表現(xiàn)能力的特征層;預(yù)測(cè)結(jié)構(gòu)通過損失函數(shù)進(jìn)行目標(biāo)類別概率和位置坐標(biāo)計(jì)算,最終得到預(yù)測(cè)結(jié)果[21]。
圖3 YOLOv5 算法模型結(jié)構(gòu)Fig.3 Structure of YOLOv5 algorithm model
OCR 識(shí)別算法可解決打鉆過程鉆點(diǎn)信息需要人工錄入、分段錄像需要人工控制起止時(shí)間的問題。該算法基于PaddleOCR,通過提取打鉆各個(gè)環(huán)節(jié)的文字信息,對(duì)文字信息進(jìn)行訓(xùn)練,其業(yè)務(wù)流程如圖4 所示。根據(jù)信息牌檢測(cè)算法截取的信息牌圖像,通過文本檢測(cè)算法與表格結(jié)構(gòu)識(shí)別,最終生成關(guān)于表格結(jié)構(gòu)的識(shí)別結(jié)果。
圖4 OCR 識(shí)別算法業(yè)務(wù)流程Fig.4 Processes of OCR recognition algorithm
OCR 識(shí)別是對(duì)檢測(cè)到的信息牌上的信息進(jìn)行識(shí)別。OCR 識(shí)別包括打鉆流程識(shí)別與施工信息識(shí)別,其中打鉆流程識(shí)別指判斷哪個(gè)流程對(duì)應(yīng)位置吸附了“綠色磁釘”,則識(shí)別出相應(yīng)流程、施工地點(diǎn)、鉆場(chǎng)、鉆孔號(hào),并在系統(tǒng)執(zhí)行對(duì)應(yīng)業(yè)務(wù)。試驗(yàn)過程中將“綠色磁釘”直接吸附在信息牌流程信息位置。當(dāng)識(shí)別到“綠色磁釘”所在位置為信息牌上方的“結(jié)束開孔、結(jié)束收孔、結(jié)束封孔”時(shí),需對(duì)信息牌下方的施工信息進(jìn)行識(shí)別,否則只需識(shí)別上方的流程。結(jié)束開孔時(shí),需識(shí)別出距頂、距底、距測(cè)點(diǎn)、方位角、傾角、見煤、見巖、見瓦斯、孔徑、施工人員、班次、施工隊(duì);結(jié)束收孔時(shí),需識(shí)別出桿長(zhǎng)、桿數(shù)、孔深、施工人員、班次、施工隊(duì);結(jié)束封孔時(shí),需識(shí)別出封孔方式、封孔管長(zhǎng)度、排氣管長(zhǎng)度、施工人員、班次、施工隊(duì)。在開始開孔、開始收孔、開始封孔階段不識(shí)別施工信息。需注意的是,OCR 識(shí)別過程不僅要求信息牌正對(duì)攝像儀與光照良好,還要清晰看出信息牌上文字。
退桿分析是在收孔階段進(jìn)行退桿數(shù)與現(xiàn)場(chǎng)人數(shù)識(shí)別。當(dāng)識(shí)別到收孔階段的流程信息時(shí),啟動(dòng)AI 分析服務(wù),監(jiān)控視頻顯示含有現(xiàn)場(chǎng)人數(shù)與退桿數(shù)的分析視頻流,并實(shí)時(shí)更新視頻畫面中現(xiàn)場(chǎng)人數(shù)、退桿數(shù)。通過獲取視頻中鉆機(jī)與鉆桿的空間位置關(guān)系及運(yùn)動(dòng)軌跡,結(jié)合人員位置進(jìn)行綜合判斷,實(shí)現(xiàn)鉆桿計(jì)數(shù)。退桿分析算法業(yè)務(wù)流程如圖5 所示。若鉆機(jī)與鉆桿由位置有交叉到無交叉,且人與鉆桿由位置無交叉到有交叉再到無交叉,則退桿數(shù)加1,并保存到本地?cái)?shù)據(jù)庫,否則退桿數(shù)不變。此外,通過人體檢測(cè)模型檢測(cè)并顯示視頻中的現(xiàn)場(chǎng)人數(shù)。當(dāng)識(shí)別到結(jié)束收孔階段的流程信息時(shí),停止AI 分析服務(wù),監(jiān)控視頻顯示原始視頻流。通過采集煤礦現(xiàn)場(chǎng)的退桿視頻,利用機(jī)器學(xué)習(xí)修正模型參數(shù)來優(yōu)化退桿分析算法,不斷提高退桿數(shù)識(shí)別準(zhǔn)確率。
圖5 退桿分析算法業(yè)務(wù)流程Fig.5 Process of pip withdrawal analysis algorithm
為了運(yùn)行AI 視頻分析算法,需搭建GPU 服務(wù)器部署AI 分析服務(wù),對(duì)打鉆監(jiān)控視頻進(jìn)行分析。實(shí)驗(yàn)中GPU 服務(wù)器部署在Linux 環(huán)境下,采用Docker、Python 及TensorRT 搭建算法模型;采用Tesla P100顯卡,32 GiB 內(nèi)存。在進(jìn)行實(shí)驗(yàn)驗(yàn)證前,需采集現(xiàn)場(chǎng)的打鉆視頻進(jìn)行訓(xùn)練,以期獲得較好的AI 分析模型。實(shí)驗(yàn)步驟包括數(shù)據(jù)預(yù)處理、標(biāo)注及命名,模型參數(shù)配置,模型訓(xùn)練及測(cè)試。打鉆作業(yè)全過程執(zhí)行流程具體如下,不同流程對(duì)應(yīng)的信息牌如圖6-圖8所示。
圖6 開孔作業(yè)對(duì)應(yīng)的信息牌Fig.6 Information board corresponding to the opening hole
圖7 收孔作業(yè)對(duì)應(yīng)的信息牌Fig.7 The information board corresponding to the closing hole
圖8 封孔作業(yè)對(duì)應(yīng)的信息牌Fig.8 Information board corresponding to the sealing hole
1)當(dāng)識(shí)別出開孔開始,則開始開孔錄像,啟動(dòng)信息牌檢測(cè)與OCR 識(shí)別服務(wù),并發(fā)出語音播報(bào)“現(xiàn)在開始開孔”。
2)當(dāng)識(shí)別出開孔結(jié)束與開孔參數(shù),則結(jié)束開孔錄像,保存參數(shù)并發(fā)出語音播報(bào)“現(xiàn)在結(jié)束開孔”。
3)當(dāng)識(shí)別出收孔開始,則開始收孔錄像,啟動(dòng)退桿分析服務(wù),實(shí)時(shí)更新分析視頻上的退桿數(shù)及現(xiàn)場(chǎng)人數(shù),并發(fā)出語音播報(bào)“現(xiàn)在開始收孔”。
4)當(dāng)識(shí)別出收孔結(jié)束與收孔參數(shù),則結(jié)束收孔錄像,停止退桿分析服務(wù),保存參數(shù),并發(fā)出語音播報(bào)“現(xiàn)在結(jié)束收孔”。
5)當(dāng)識(shí)別出封孔開始,則開始封孔錄像,發(fā)出語音播報(bào)“現(xiàn)在開始封孔”。
6)當(dāng)識(shí)別出封孔結(jié)束與封孔參數(shù),則結(jié)束封孔錄像,停止信息牌檢測(cè)與OCR 識(shí)別服務(wù),保存參數(shù),并發(fā)出語音播報(bào)“現(xiàn)在結(jié)束封孔”。
7)當(dāng)識(shí)別出打鉆流程錯(cuò)誤,如開孔后識(shí)別出封孔,則發(fā)出語音播報(bào)“當(dāng)前打鉆流程錯(cuò)誤,請(qǐng)重新舉牌”。
一旦檢測(cè)到信息牌,AI 分析服務(wù)會(huì)自動(dòng)啟用OCR 識(shí)別算法分析信息牌上信息,并反饋?zhàn)R別結(jié)果。
將5 張信息牌分別連續(xù)檢測(cè)100 次,觀察檢測(cè)成功的次數(shù),得到信息牌檢測(cè)成功的準(zhǔn)確率約為96%。OCR 識(shí)別算法通過識(shí)別信息牌上的“綠色磁貼”所在位置,確定當(dāng)前打鉆流程與施工信息,并用紫色框圈出。識(shí)別開孔階段的結(jié)果如圖9 所示。當(dāng)處于開孔開始階段,可識(shí)別出施工地點(diǎn)、鉆場(chǎng)、鉆孔號(hào)、施工人員、班次、施工隊(duì)。若為開孔結(jié)束階段,可識(shí)別出開孔參數(shù),包括距頂、距底、距測(cè)點(diǎn)、方位角、傾角、見煤、見巖、見瓦斯、孔徑。
圖9 OCR 識(shí)別開孔結(jié)果Fig.9 The result of opening hole by OCR recognition
采用PaddleOCR 識(shí)別算法與常用的文字識(shí)別算法EasyOCR、ChineseOCR 分別對(duì)500 張信息牌圖像進(jìn)行識(shí)別,識(shí)別效果見表1??煽闯鯬addleOCR 識(shí)別算法平均用時(shí)17.51 ms,較其他2 種識(shí)別算法分別降低了25.25,4.34 ms,PaddleOCR 識(shí)別算法的準(zhǔn)確率較其他2 種識(shí)別算法分別提高了5.75%,2.29%,召回率較其他2 種識(shí)別算法分別提高了9.77%,2.36%。
表1 OCR 識(shí)別效果對(duì)比Table 1 Comparison of OCR identification effects
取現(xiàn)場(chǎng)50 段不同的收孔視頻進(jìn)行退桿分析算法驗(yàn)證,分析效果如圖10 所示。通過對(duì)比實(shí)際退桿數(shù)與分析退桿數(shù)的偏差,可得出本文方法分析準(zhǔn)確率約為95%,進(jìn)一步證明了本文所提方法可有效輔助驗(yàn)鉆。
圖10 退桿分析效果Fig.10 The effect of pipe withdrawal analysis
1)信息牌檢測(cè)算法對(duì)信息牌的識(shí)別準(zhǔn)確率為96%?;赑addleOCR 的OCR 識(shí)別算法具有檢測(cè)速度快、識(shí)別精度高的特點(diǎn),平均用時(shí)17.51 ms,準(zhǔn)確率和召回率分別為93.9%,96.03%。
2)基于深度學(xué)習(xí)的退桿分析算法準(zhǔn)確率約為95%,能夠有效識(shí)別現(xiàn)場(chǎng)退桿數(shù),有效輔助驗(yàn)鉆。
3)AI 智能視頻分析技術(shù)可促進(jìn)打鉆作業(yè)無人值守與全過程分析管控。