鄭海青， 趙越磊， 孫曉云， 靳 強

（1.石家莊鐵道大學(xué)電氣與電子工程學(xué)院，石家莊 050043； 2.河北金隅鼎鑫水泥有限公司，石家莊 050020）

滑坡作為一種自然地質(zhì)災(zāi)害，常常對人類的生命財產(chǎn)帶來較大的危害，科學(xué)準確構(gòu)建滑坡變形演化的預(yù)測預(yù)報模型是減少滑坡災(zāi)害的關(guān)鍵. 利用多期數(shù)據(jù)對同一點的變形時間序列進行分析，可以得到滑坡區(qū)內(nèi)某些關(guān)鍵點的位移—時間曲線，并據(jù)此進行滑坡穩(wěn)定性判別和中長期預(yù)警. 監(jiān)測僅是手段，預(yù)警才是目的. 因此，除應(yīng)重視地質(zhì)災(zāi)害監(jiān)測儀器研發(fā)和隱患點的專業(yè)監(jiān)測外，更應(yīng)高度重視地質(zhì)災(zāi)害預(yù)警工作，尤其是各種監(jiān)測數(shù)據(jù)的收集整理和分析，研究和建立地質(zhì)災(zāi)害預(yù)警模型和判據(jù)［1］.

現(xiàn)在的邊坡位移預(yù)測模型主要有回歸分析［2］、灰色理論、神經(jīng)網(wǎng)絡(luò)等［3］. He等［4］將Scoops3D模型與TRIGRS模型（3D）相結(jié)合，以預(yù)測淺層滑坡的時空分布，獲得更準確的結(jié)果. 但該法通常適用于滑坡少的地區(qū)，并缺乏降雨和滑坡穩(wěn)定性的定量研究. Xing等［5］用雙指數(shù)平滑法預(yù)測滑坡位移趨勢項，建立支持向量回歸和長短期記憶網(wǎng)絡(luò)的混合模型來預(yù)測滑坡位移周期項. 該方法保持較高的預(yù)測精度，降低低估率，從而可以自適應(yīng)地規(guī)避風險.

目前，由于確定性模型需要較多關(guān)于地質(zhì)條件等綜合數(shù)據(jù)［6］，所以其預(yù)測精度相對較低. 由灰色預(yù)測模型為代表性的統(tǒng)計模型，外延性較差. 通常僅對單個邊坡變形適用，普適性較差［7］. 基于非線性動力學(xué)理論的智能算法預(yù)測模型對邊坡復(fù)雜影響因子的進一步刻畫，邊坡變形預(yù)報技術(shù)還在不斷完善［8-9］，而用時間序列常用模型長短時記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）雖能提高預(yù)測精度，但對于深度神經(jīng)網(wǎng)絡(luò)這種大模型，參數(shù)量遠遠大于數(shù)據(jù)量. 過多的參數(shù)需要更多的儲存空間，也需要更多的計算量，Yu等［10］將最后的應(yīng)答層的特征誤差重新組合，用“重要分數(shù)”將通道連通，有效改善了網(wǎng)絡(luò)訓(xùn)練速度. 故此，本文擬建立基于CNN-LSTM 混合模型的邊坡位移預(yù)測模型，以河北金隅鼎鑫水泥有限公司排土場監(jiān)測點G011監(jiān)測到的邊坡位移數(shù)據(jù)為例，驗證所搭建模型的有效性. 但模型尺寸比較大，讓其使用產(chǎn)生局限性. 對原來的剪枝方法進行修改，模型結(jié)構(gòu)中的冗余元素進行刪減，實現(xiàn)模型壓縮的目的.

1 預(yù)測模型的建立

圖1 1D-CNN結(jié)構(gòu)模型Fig.1 1D-CNN structure model

1.1 一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）

當一維尺度的時間序列信號作輸入的時候，一維卷積比二維卷積有更優(yōu)秀的特征提取能力. 一維卷積常用在序列模型和自然語言處理領(lǐng)域，文獻［11］將機械振動信號作為一維卷積神經(jīng)網(wǎng)絡(luò)的輸入，實現(xiàn)機器的實時故障診斷. 一維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示.

卷積操作可表示為：

其中：Hi為第i 層輸入特征量；?代表卷積運算；Wi和bi分別表示第i 層卷積核的權(quán)重和偏置；非線性函數(shù)f 為激活函數(shù). 其中池化層用于對卷積后的特征量進行降維，可表示為：

其中：Hi-1和Hi分別表示池化前后的特征量；down 表示池化函數(shù).

1.2 長短期記憶網(wǎng)絡(luò)（LSTM）

LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）［12］，主要用于解決長序列訓(xùn)練過程中的梯度消失和梯度爆炸問題.LSTM記憶單元結(jié)構(gòu)如圖2所示.

LSTM 的隱藏層由輸入門、遺忘門和輸出門進行控制. t 時刻，細胞狀態(tài)的計算過程如下：

圖2 LSTM結(jié)構(gòu)模型Fig.2 LSTM structural model

其中：ft，it，σt分別為輸入門、遺忘門和輸出門的計算值，xt為t 時刻的輸入；ht為t 時刻的輸出；Ct為t 時刻細胞的狀態(tài)；Wf，Wi，Wo分別為各自門控的權(quán)重；bf，bi，bo為對應(yīng)的偏置；Wc為候選值權(quán)重；bc為相應(yīng)偏置；σ 和tanh表示兩種激活函數(shù).

1.3 通道剪枝（Channel pruning）

通道剪枝技術(shù)就是在輸入x 一定的情況下，需要選擇剪掉第幾個通道，同時還需要在通道被剪后，進行權(quán)重的重新學(xué)習(xí)，保證剪枝前和剪枝后輸出的特征圖具有最小的L2范數(shù)［13］. 通道剪枝示意圖如3所示.

圖3 中，B、W 和C 分別為輸入特征圖、卷積核和輸出特征圖，m 和n 分別為輸入特征圖和輸出特征圖的通道數(shù). 當我們裁剪了卷積核中的通道數(shù)后，相對應(yīng)的輸入特征圖中的通道數(shù)亦可裁去，目的就是在盡可能剪枝的情況下，保持剪枝后特征圖和原始特征圖的差距最小，可描述為：

圖3 通道剪枝示意圖Fig.3 Schematic diagram of channel pruning

1.4 基于剪枝優(yōu)化的CNN-LSTM混合模型

較長的時間序列直接用LSTM處理時，計算要求很高，因此一般先用CNN在LSTM前進行數(shù)據(jù)的部分處理，把長序列換成短序列. CNN-LSTM預(yù)測模型在訓(xùn)練時要求計算強度較高，為加快運算速率，針對CNN 卷積層，逐層應(yīng)用通道剪枝技術(shù). 所提出網(wǎng)絡(luò)模型如圖4 所示，其中1D-CNN 由3 個一維卷積層和3 個池化層組成，用于將數(shù)據(jù)的特征量進行重構(gòu)和降維. 輸出的特征作為LSTM 的輸入，經(jīng)LSTM 二次提取時序信息后輸出預(yù)測結(jié)果.

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)采集

實驗中采用的數(shù)據(jù)來自河北金隅鼎鑫水泥有限公司礦山邊坡位移監(jiān)測項目，該地區(qū)的坡體巖土顆粒較松散，條帶狀沖溝的現(xiàn)象極易發(fā)生，而且隨著時間的演變，外界水侵蝕了邊坡基地的土體強度，讓該地區(qū)的邊坡變得不穩(wěn)定. 該地區(qū)的邊坡面貌如圖5所示. 選取排土場監(jiān)測點G011監(jiān)測到的2019年6 月1日至2020年7月1日的邊坡位移數(shù)據(jù)對該地的邊坡穩(wěn)定性進行分析，部分數(shù)據(jù)如表1 所示，其中X、Y、Z 分別為三維空間直角坐標系的三個方向的位移量. 為方便模型訓(xùn)練，將位移量作為本次實驗數(shù)據(jù)的數(shù)據(jù)集進行訓(xùn)練分析.

圖4 剪枝優(yōu)化CNN-LSTM混合模型Fig.4 CNN-LSTM hybrid model for pruning optimization

圖5 礦山邊坡面貌Fig.5 Mine slope appearance

表1 采集到的邊坡位移數(shù)據(jù)Tab.1 Collected data of slope displacements

2.2 實驗結(jié)果

為消除奇異樣本數(shù)據(jù)引起的訓(xùn)練時間增大問題，采用歸一化方法對數(shù)據(jù)進行預(yù)處理，可表示為：

表2 參數(shù)設(shè)置Tab.2 Parameter setting

其中：x 為原始數(shù)據(jù)；min(x)為原始數(shù)據(jù)中的最小數(shù)值；max(x)為原始數(shù)據(jù)的最大數(shù)值，x′為歸一化后數(shù)據(jù)［15］.

采用自適應(yīng)矩估計方法（Adaptive Moment Estimation，Adam）用來更新網(wǎng)絡(luò)權(quán)重［16］，其余參數(shù)如表2所示.

為驗證加入剪枝技術(shù)后預(yù)測模型的有效性，引入了LSTM［17］、1DCNN［18］、剪枝后的CNN 模型和剪枝前的CNN-LSTM［19-20］進行對比，其中1D-CNN 由三層卷積與三層最大池化交替排列；LSTM模型由兩個狀態(tài)單元疊加構(gòu)成. 采用RMSE（均方根誤差）、MAPE（平均絕對百分比誤差）作為網(wǎng)絡(luò)性能的評價指標，表3為不同模型的預(yù)測結(jié)果，標號1-7分別代表1DCNN模型，LSTM模型，1DCNN-LSTM組合模型，對Conv1進行剪枝的1DCNN-LSTM 模型，對Conv2進行剪枝的1DCNN-LSTM 模型，對Conv3進行剪枝的1DCNN-LSTM 模型及同時對Conv1、Conv2、Conv3 進行剪枝的1DCNN-LSTM 模型. 并隨機選取第71、72 和73 天的位移量的實測值與預(yù)測值進行對比分析，并用相對誤差作為兩者間評價.

表3 不同預(yù)測模型的實驗結(jié)果Tab.3 Experimental results of different prediction models

由表3可知，經(jīng)過剪枝優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)在各指標上都略優(yōu)于其他網(wǎng)絡(luò)結(jié)構(gòu)，其中LSTM的預(yù)測效果最差，原因在于單獨的LSTM模型不能對局部特征進行有效提取，還會因為神經(jīng)元個數(shù)的增多導(dǎo)致計算量變大，過擬合風險增加. 單獨的CNN模型提取特征能力很強，但對時序數(shù)據(jù)的預(yù)測不如LSTM，因此CNN與LSTM的組合模型，集合二者的優(yōu)點，擬合能力、泛化性都較單一模型好. 剪枝優(yōu)化后的組合模型預(yù)測效果普遍優(yōu)于未剪枝優(yōu)化的. 對CNN的每個卷積層都進行剪枝優(yōu)化的組合模型預(yù)測效果最好，且在可接受范圍內(nèi)達到短期預(yù)測的要求. 圖6～圖8分別為LSTM、CNN-LSTM和逐層剪枝優(yōu)化的CNN-LSTM模型位移預(yù)測結(jié)果.

圖6 LSTM模型預(yù)測結(jié)果Fig.6 Prediction results of LSTM model

圖7 CNN-LSTM組合模型預(yù)測結(jié)果Fig.7 Prediction results of CNN-LSTM combined model

圖8 逐層剪枝優(yōu)化的CNN-LSTM模型預(yù)測結(jié)果Fig.8 Prediction results of CNN-LSTM model optimized by pruning layer-by-layer

從圖6～圖8可以看出，與LSTM和CNN-LSTM預(yù)測模型相比，逐層剪枝優(yōu)化的CNN-LSTM組合模型位移預(yù)測結(jié)果和實際值雖然存在滯后現(xiàn)象，但是總趨勢與實際值趨勢較為吻合，擬合結(jié)果更好.

3 結(jié)論

為準確預(yù)測邊坡的位移變化趨勢，從而為提前預(yù)報預(yù)警提供理論依據(jù)，提出了一種基于剪枝優(yōu)化的1DCNN-LSTM 組合預(yù)測模型. 該模型以時序特征向量作為輸入，為降低模型復(fù)雜度，采用剪枝技術(shù)進行有針對性的通道剪枝，讓模型能在保證精確度不降低的條件下，能夠更快、更準地進行訓(xùn)練. 實驗結(jié)果表明，與未剪枝的CNN-LSTM 模型相比，該模型可以減少訓(xùn)練時間，在保證模型訓(xùn)練的準確性的基礎(chǔ)上降低內(nèi)存占用量.