劉 超，雷 晨，李樹(shù)剛，薛俊華，張 超

(1.西安科技大學(xué) 安全科學(xué)與工程學(xué)院，陜西 西安 710054；2.西部礦井開(kāi)采及災(zāi)害防治教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054)

0 引言

煤炭是我國(guó)一次性能源消費(fèi)的重要支柱，影響國(guó)內(nèi)經(jīng)濟(jì)發(fā)展和能源安全[1-2]。頻發(fā)的礦井瓦斯災(zāi)害，給煤炭行業(yè)造成重大損失并嚴(yán)重威脅人們生命安全。目前，大部分煤炭企業(yè)已經(jīng)配備成熟的安全監(jiān)測(cè)系統(tǒng)，但其功能僅限于短期識(shí)別和應(yīng)對(duì)災(zāi)害，未能充分利用現(xiàn)有監(jiān)測(cè)數(shù)據(jù)，導(dǎo)致礦井瓦斯災(zāi)害預(yù)測(cè)能力不足。因此，迫切需要引入新的方法和技術(shù)，通過(guò)對(duì)監(jiān)測(cè)數(shù)據(jù)深度挖掘分析，實(shí)現(xiàn)對(duì)瓦斯?jié)舛染珳?zhǔn)預(yù)測(cè)，提高煤礦瓦斯災(zāi)害預(yù)警能力，降低礦井瓦斯災(zāi)害造成的經(jīng)濟(jì)損失，保護(hù)人們生命安全。

為實(shí)現(xiàn)瓦斯?jié)舛阮A(yù)測(cè)，國(guó)內(nèi)外學(xué)者開(kāi)展研究：文獻(xiàn)[3-6] 提出基于相空間重構(gòu)理論、自適應(yīng)混沌粒子群優(yōu)化理論與支持向量機(jī)(SVM)相結(jié)合的瓦斯?jié)舛阮A(yù)測(cè)方法；郭思雯等[7]提出基于自回歸集成移動(dòng)平均模型的瓦斯?jié)舛阮A(yù)測(cè)方法；武艷蒙等[8]利用SVM和差分進(jìn)化(DE)算法建立預(yù)測(cè)模型，并基于馬爾可夫鏈的殘差修正預(yù)測(cè)瓦斯?jié)舛茸兓厔?shì)；吳海波等[9]提出基于Spark Streaming框架的流回歸瓦斯?jié)舛阮A(yù)測(cè)方法；Marek等[10-11]將ARIMA模型、K-臨近和模型樹(shù)法相結(jié)合，對(duì)瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)，并且提出局部線性與差分整合移動(dòng)平均自回歸模型組合的瓦斯?jié)舛阮A(yù)測(cè)方法。上述研究方法均集中于單特征學(xué)習(xí)且數(shù)據(jù)集相對(duì)較小，因瓦斯?jié)舛葦?shù)據(jù)具有動(dòng)態(tài)和非線性，使得上述方法在精確度和適用性方面表現(xiàn)不佳。

伴隨云計(jì)算和人工智能發(fā)展，門控循環(huán)單元(Gated Recurrent Unit，GRU)在智能裝備制造[12]、圖像識(shí)別[13-14]、能源預(yù)測(cè)[15-16]和智能交通[17]等方面得到廣泛應(yīng)用。GRU是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)秀變體，其最大特點(diǎn)是善于處理復(fù)雜的多維時(shí)間序列。鑒于此，本文引入卷積神經(jīng)網(wǎng)絡(luò)(CNN)，提取瓦斯數(shù)據(jù)時(shí)空特征，構(gòu)建集時(shí)間與空間為一體的多維特征矩陣，將提取的數(shù)據(jù)信息輸入GRU，深度挖掘每個(gè)變量間的相互內(nèi)在關(guān)系，并構(gòu)建基于CNN-GRU的瓦斯?jié)舛阮A(yù)測(cè)模型，研究結(jié)果在提高瓦斯?jié)舛阮A(yù)測(cè)精度同時(shí)保證預(yù)測(cè)時(shí)效性。

1 門控循環(huán)單元(GRU)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)層與層之間無(wú)節(jié)點(diǎn)連接，在解決時(shí)間序列問(wèn)題上效果較差[18]。循環(huán)神經(jīng)網(wǎng)絡(luò)與GRU結(jié)構(gòu)原理如圖1所示，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是1種具有反饋結(jié)構(gòu)的網(wǎng)絡(luò)，在計(jì)算當(dāng)下輸出時(shí)，隱藏層神經(jīng)元會(huì)將儲(chǔ)存單元信息作為部分輸入，使輸出受先前輸出影響。因RNN善于處理時(shí)間序列信息，被廣泛用于具有時(shí)間信息數(shù)據(jù)挖掘工作。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)與GRU結(jié)構(gòu)原理Fig.1 Recurrent neural network and GRU structure principle

長(zhǎng)短期記憶(LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)秀變體，主要由輸入門、遺忘門和輸出門組成，輸入門控制細(xì)胞狀態(tài)，將信息選擇性保留下來(lái)，遺忘門將細(xì)胞狀態(tài)中的信息選擇性遺忘，輸出門針對(duì)隱藏層儲(chǔ)存單元決定輸出信息。同時(shí)，在整個(gè)過(guò)程中通過(guò)消除或增強(qiáng)輸入神經(jīng)細(xì)胞單元信息控制細(xì)胞狀態(tài)[19]。

門控循環(huán)單元(GRU)將LSTM進(jìn)一步改進(jìn)[20]，結(jié)構(gòu)如圖1(d)所示，通過(guò)將遺忘門和輸入門合并成更新門，改進(jìn)LSTM的3門設(shè)計(jì)，目的是減少參數(shù)以優(yōu)化細(xì)胞結(jié)構(gòu)，提高運(yùn)行效率，使得在訓(xùn)練過(guò)程中更容易收斂。GRU主要按更新數(shù)據(jù)信息、數(shù)據(jù)信息匯總、重置數(shù)據(jù)信息和數(shù)據(jù)信息輸出4個(gè)步驟運(yùn)行[21]。

1)更新數(shù)據(jù)信息。更新門控制隱藏層中的記憶信息，將信息進(jìn)行線性變換，如式(1)所示：

zt=σ(Wz·[ht-1,xt])=σ(Whz·ht-1+Wxz·xt)

(1)

式中：zt為更新門信息；σ為sigmoid函數(shù)；t，t-1表示時(shí)刻；Wz為當(dāng)前更新門權(quán)重；Whz表示在當(dāng)前隱藏層狀態(tài)下更新門權(quán)重；Wxz為當(dāng)前更新門輸入信息權(quán)重；ht-1為t-1時(shí)刻隱藏層狀態(tài)；xt為t時(shí)刻輸入信息。

2)數(shù)據(jù)信息匯總。確定前一時(shí)刻和當(dāng)前時(shí)刻信息在隱藏層中遺忘的信息，如式(2)所示：

rt=σ(Wr·[ht-1,xt])=σ(Whr·ht-1+Wxr·xt)

(2)

式中：rt為重置門信息；Wr表示當(dāng)前重置門權(quán)重；Whr表示在當(dāng)前隱藏層狀態(tài)下重置門權(quán)重；Wxr表示當(dāng)前重置門輸入信息權(quán)重。

3)重置數(shù)據(jù)信息?？刂飘?dāng)前信息利用度和產(chǎn)生新記憶信息的數(shù)據(jù)量，作為輸入繼續(xù)向前傳遞，如式(3)所示：

(3)

式中：W表示權(quán)重；ut表示重置信息；tanh為雙正切函數(shù)變換；Wh表示當(dāng)前隱藏層權(quán)重；Wx表示輸入信息權(quán)重；符號(hào)*表示線性變換。

4)數(shù)據(jù)信息輸出。利用更新門計(jì)算當(dāng)前輸入信息，如式(4)所示：

ht=zt*ht-1+(1-zt)*ut

(4)

式中：ht表示t時(shí)刻隱藏層狀態(tài)。

2 瓦斯?jié)舛阮A(yù)測(cè)模型構(gòu)建

2.1 CNN-GRU預(yù)測(cè)模型

CNN-GRU預(yù)測(cè)模型結(jié)構(gòu)如圖2所示，主要由輸入層、CNN層、全連接層、GRU層和輸出層5部分構(gòu)成。輸入層是將某一時(shí)刻影響瓦斯?jié)舛纫蛩嘏c瓦斯?jié)舛葦?shù)據(jù)本身串聯(lián)成1個(gè)向量，利用滑動(dòng)窗口形成新的時(shí)間序列數(shù)據(jù)；CNN層是對(duì)輸入序列數(shù)據(jù)進(jìn)行特征提取，CNN單元能夠通過(guò)卷積核運(yùn)算自動(dòng)提取數(shù)據(jù)局部變化趨勢(shì)，線性合并多組數(shù)據(jù)的抽象時(shí)空特性，提取多維時(shí)間序列特征；全連接層是將經(jīng)多次核卷積后形成的抽象特征進(jìn)行匯總，將卷積層輸出的多維特征矩陣轉(zhuǎn)化成一維向量，最后把轉(zhuǎn)換后的一維向量完整的傳遞給GRU網(wǎng)絡(luò)；GRU層主要是對(duì)CNN層提取的特征向量進(jìn)行充分學(xué)習(xí)，記憶長(zhǎng)期依賴的歷史數(shù)據(jù)，最終得到其內(nèi)部特征變化規(guī)律，以此對(duì)未來(lái)瓦斯?jié)舛葦?shù)據(jù)進(jìn)行預(yù)測(cè)；輸出層是將預(yù)測(cè)值反歸一化后輸出。

圖2 CNN-GRU組合模型結(jié)構(gòu)Fig.2 Structure of CNN-GRU combined model

2.2 CNN參數(shù)設(shè)置

考慮瓦斯?jié)舛葦?shù)據(jù)的復(fù)雜性和CNN提取能力，將2D-CNN(二維卷積)作為網(wǎng)絡(luò)結(jié)構(gòu)，以保證預(yù)測(cè)效果的穩(wěn)定性。CNN特征識(shí)別功能有利于在不同層次的高維時(shí)間序列數(shù)據(jù)中自動(dòng)提取共同特征，將數(shù)據(jù)轉(zhuǎn)換為沿時(shí)間軸的網(wǎng)格，利用CNN進(jìn)行時(shí)間序列數(shù)據(jù)處理，如圖2所示。將最近L個(gè)日期的瓦斯?jié)舛群途哂蠳維屬性影響因素?cái)?shù)據(jù)轉(zhuǎn)換成網(wǎng)格，在輸入層后僅連接2層卷積層，并采用Dropout技術(shù)防止過(guò)擬合，如圖2所示，目的是避免數(shù)據(jù)在通過(guò)池化層時(shí)丟失重要特征，以較少的層數(shù)快速提取高維特征。在連續(xù)卷積和池化后，通過(guò)Flatten層將數(shù)據(jù)降維，最后設(shè)置神經(jīng)元數(shù)量分別為128，64，32的3層全連接層。CNN主要參數(shù)見(jiàn)表1。

表1 CNN參數(shù)設(shè)置Table 1 Parameters setting of CNN

2.3 GRU參數(shù)設(shè)置

采用多對(duì)一和一對(duì)一2種回歸形式的2層GRU結(jié)構(gòu)，使模型在最后1個(gè)時(shí)間步長(zhǎng)前,對(duì)輸入的時(shí)間序列均能產(chǎn)生新的記憶狀態(tài)。由圖2可知，基于GRU的模型結(jié)構(gòu)，其實(shí)現(xiàn)方法包括以下3個(gè)步驟:1)將數(shù)據(jù)以一對(duì)一的模式輸入到第1層GRU，并且每個(gè)時(shí)間步長(zhǎng)的記憶狀態(tài)已經(jīng)更新；2)第1層GRU的輸出以多對(duì)一的模式進(jìn)入第2層GRU；3) 在第2層GRU輸出后進(jìn)入全連接層。疊加2個(gè)層是為了預(yù)測(cè)每個(gè)時(shí)間步長(zhǎng)，初步預(yù)測(cè)序列中趨勢(shì)，以幫助模型學(xué)習(xí)更高水平的時(shí)域特征表達(dá)。同理，建立3層全連接層，神經(jīng)元數(shù)量分別設(shè)置為128、64、32，具體參數(shù)設(shè)置見(jiàn)表2。

表2 GRU參數(shù)設(shè)置Table 2 Parameters setting of GRU

3 實(shí)例應(yīng)用

3.1 數(shù)據(jù)來(lái)源與預(yù)處理

本文數(shù)據(jù)來(lái)自玉華煤礦2021年3月11日至2021年3月21日2407工作面每5 min的日常生產(chǎn)監(jiān)測(cè)數(shù)據(jù)，包括瓦斯?jié)舛?、溫度、流量、?fù)壓4個(gè)變量，共3 041組，數(shù)據(jù)特征如圖3所示。將數(shù)據(jù)按7∶3比例劃分為訓(xùn)練集和測(cè)試集，用近似平均值補(bǔ)充缺失數(shù)據(jù)，刪除異常數(shù)據(jù)。為便于計(jì)算并提高預(yù)測(cè)精度，采用MinMaxScaler方法規(guī)范化，將數(shù)據(jù)縮放到[0,1]，如式(5)～(6)所示：

圖3 原始數(shù)據(jù)箱體圖Fig.3 Diagram of original data box

(5)

Xscaled=Xstd×(Max-Min)+Min

(6)

式中：Xstd表示放縮標(biāo)準(zhǔn)；X為數(shù)據(jù)；XMax，XMin表示數(shù)據(jù)最大值和最小值；Max，Min為數(shù)據(jù)縮放后的最大值和最小值；Xscaled表示最終放縮結(jié)果。處理后數(shù)據(jù)如圖4所示。

圖4 處理后數(shù)據(jù)Fig.4 Processed data

皮爾遜分析是衡量不同變量之間相關(guān)程度，其運(yùn)行原理如式(7)所示[22]：

(7)

本文運(yùn)用SPSS軟件對(duì)采集的4個(gè)變量進(jìn)行皮爾遜相關(guān)性分析，結(jié)果見(jiàn)表3。由表3可知，溫度與瓦斯?jié)舛瘸矢叨认嚓P(guān)，流量和負(fù)壓與瓦斯?jié)舛瘸手卸认嚓P(guān)。因此，本文選擇瓦斯?jié)舛?、流量、溫度和?fù)壓4個(gè)變量作為預(yù)測(cè)模型的輸入是合理的。

表3 各影響因素相關(guān)性分析結(jié)果Table 3 Correlation analysis results of each influencing factor

本文實(shí)驗(yàn)采用Python3.7開(kāi)發(fā)語(yǔ)言、Pycharm社區(qū)版集成環(huán)境，GRU模型和CNN模型均來(lái)自Keras2.1.5，計(jì)算機(jī)配置為CPU(i7-8550),顯卡RX550，內(nèi)存8GB。通過(guò)2個(gè)評(píng)價(jià)指標(biāo)衡量模型預(yù)測(cè)精度。

平均絕對(duì)誤差(MAE)如式(8)所示：

(8)

均方根誤差(RMSE)如式(9)所示：

(9)

式中：fi，yi分別為預(yù)測(cè)值和真實(shí)值；m為樣本個(gè)數(shù)。

3.2 模型運(yùn)行效率對(duì)比

為比較不同模型達(dá)到最優(yōu)結(jié)果時(shí)的運(yùn)行效率，將CNN-GRU組合模型與傳統(tǒng)機(jī)器學(xué)習(xí)模型LSTM和GRU進(jìn)行比較，采用訓(xùn)練集導(dǎo)入模型，在訓(xùn)練過(guò)程中，當(dāng)損失函數(shù)值連續(xù)增加或無(wú)明顯減少時(shí)，提前終止訓(xùn)練，經(jīng)過(guò)3次訓(xùn)練后結(jié)果如圖5～6所示，LSTM、GRU和CNN-GRU的平均訓(xùn)練輪次(Epoch)分別為325，200，159次；LSTM、GRU和CNN-GRU的平均訓(xùn)練時(shí)間分別為590，371，241 s；CNN-GRU的運(yùn)行效率比LSTM和GRU分別提高59.15%，35.04%，并且CNN-GRU模型需要的訓(xùn)練輪次最少，較大幅度降低內(nèi)存消耗。

圖5 3種模型訓(xùn)練時(shí)間和訓(xùn)練輪次比較Fig.5 Comparison on training time and training round of three models

圖6 3種模型訓(xùn)練時(shí)間比較Fig.6 Comparison on training time of three models

3.3 模型精度對(duì)比

LSTM、GRU和CNN-GRU 3種模型測(cè)試誤差結(jié)果如圖7所示，CNN-GRU測(cè)試過(guò)程中平均絕對(duì)誤差和均方根誤差均優(yōu)于LSTM和GRU，同時(shí)CNN-GRU的平均絕對(duì)誤差誤差主要集中在0.045～0.052，均方根誤差主要集中在0.007～0.01，誤差波動(dòng)范圍更小，具有較高的穩(wěn)定性。

圖7 3種模型預(yù)測(cè)結(jié)果誤差對(duì)比箱線Fig.7 Box line for comparison on error of prediction results by three models

LSTM、GRU和CNN-GRU的整體預(yù)測(cè)結(jié)果如圖8～10所示，CNN-GRU可有效預(yù)測(cè)瓦斯時(shí)間序列的峰谷值，在整體預(yù)測(cè)趨勢(shì)上優(yōu)于LSTM和GRU。3種模型詳細(xì)誤差對(duì)比見(jiàn)表4，CNN-GRU的平均絕對(duì)誤差和均方根誤差相對(duì)最低，分別可降至0.042和0.006，平均誤差分別為0.047和0.008，相比于LSTM降低46.6%，55.6%，相比于GRU降低37.3%，50.2%。

圖8 LSTM模型預(yù)測(cè)效果Fig.8 Prediction effect of LSTM model

圖9 GRU模型預(yù)測(cè)效果Fig.9 Prediction effect of GRU model

圖10 CNN-GRU組合模型預(yù)測(cè)效果Fig.10 Prediction effect of CNN-GRU model

表4 3種模型預(yù)測(cè)結(jié)果誤差Table 4 Prediction results error of three models

4 結(jié)論

1)基于CNN-GRU的瓦斯?jié)舛冉M合預(yù)測(cè)模型，能夠克服傳統(tǒng)預(yù)測(cè)方法的數(shù)據(jù)特征單一和解決非線性能力差的問(wèn)題，利用多類型數(shù)據(jù)對(duì)瓦斯?jié)舛冗M(jìn)行時(shí)序性預(yù)測(cè)。

2)采用MinMaxScaler和皮爾遜相關(guān)性分析對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理和相關(guān)性分析，提高數(shù)據(jù)質(zhì)量同時(shí)，證明多種影響因素作為模型輸入的合理性。

3)CNN-GRU組合模型相比于LSTM、GRU模型有更高的預(yù)測(cè)精度，平均絕對(duì)誤差和均方根誤差可降至0.042和0.006，更適用于瓦斯?jié)舛葧r(shí)間序列預(yù)測(cè)，并且在訓(xùn)練過(guò)程中所需訓(xùn)練輪次和運(yùn)行時(shí)間相對(duì)較少，降低內(nèi)存消耗，提高預(yù)測(cè)效率，具有更高的應(yīng)用價(jià)值。