侯春華

（中國(guó)石化勝利油田分公司勘探開發(fā)研究院，山東東營(yíng)257015）

通過(guò)新井的不斷投入來(lái)彌補(bǔ)老井遞減，是保持油田產(chǎn)油量持續(xù)穩(wěn)定的必然手段。但由于新井生產(chǎn)歷史短，不確定因素多，一直是油田產(chǎn)油量預(yù)測(cè)的重點(diǎn)和難點(diǎn)。中國(guó)對(duì)油田新井產(chǎn)油量的預(yù)測(cè)有諸多種方法，主要可以概括為基于單因素的預(yù)測(cè)方法和基于多因素的預(yù)測(cè)方法［1-9］。其中，基于單因素的預(yù)測(cè)主要采用曲線擬合法，往往只考慮時(shí)間因素；基于多因素的預(yù)測(cè)考慮了開發(fā)指標(biāo)與其他相關(guān)影響因素的關(guān)系，一般有多個(gè)輸入變量和1個(gè)輸出變量。近年來(lái)，隨著人工智能算法的進(jìn)步，人工智能預(yù)測(cè)方法逐漸應(yīng)用于油田新井產(chǎn)油量預(yù)測(cè)。人工智能算法可以較好地對(duì)復(fù)雜的非線性函數(shù)映射關(guān)系進(jìn)行描述，對(duì)數(shù)據(jù)中的特征進(jìn)行挖掘和學(xué)習(xí)，從而將數(shù)據(jù)轉(zhuǎn)換為更高層次的表達(dá)，擬合和預(yù)測(cè)效果均較好。目前在油田新井產(chǎn)油量預(yù)測(cè)中使用的人工智能算法主要有支持向量機(jī)回歸和反向傳播（簡(jiǎn)稱BP）神經(jīng)網(wǎng)絡(luò)［10-13］，但這2種方法無(wú)法考慮數(shù)據(jù)在時(shí)間上的相關(guān)性，并且對(duì)自變量的選擇較敏感。為此，筆者采用改進(jìn)的循環(huán)（簡(jiǎn)稱RNN）神經(jīng)網(wǎng)絡(luò)，即基于長(zhǎng)短期記憶（簡(jiǎn)稱LSTM）神經(jīng)網(wǎng)絡(luò)對(duì)油田新井產(chǎn)油量進(jìn)行預(yù)測(cè)，該方法不僅可以考慮相關(guān)因素對(duì)產(chǎn)油量的影響，還能考慮數(shù)據(jù)在時(shí)間上的相關(guān)性，預(yù)測(cè)精度高，適應(yīng)性強(qiáng)，可作為一種新的方法應(yīng)用于油田新井產(chǎn)油量預(yù)測(cè)。

1 RNN與LSTM神經(jīng)網(wǎng)絡(luò)

1.1 BP神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)模型模仿了生物神經(jīng)元，具有加權(quán)、求和與轉(zhuǎn)移3個(gè)功能。BP神經(jīng)網(wǎng)絡(luò)［14］是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)包括輸入層、隱含層和輸出層，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。在輸入層輸入后，下一層第j個(gè)神經(jīng)元的凈輸入值方程為：

凈輸入通過(guò)傳遞函數(shù)（Transfer Function）后，即可得第j個(gè)神經(jīng)元的輸出方程為：

BP算法由數(shù)據(jù)流的正向傳播和誤差信號(hào)的反向傳播2個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳播方向?yàn)檩斎雽印[層→輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程。通過(guò)交替進(jìn)行這2個(gè)過(guò)程獲得參數(shù)值。

1.2 RNN神經(jīng)網(wǎng)絡(luò)

相比于普通的BP神經(jīng)網(wǎng)絡(luò)，RNN神經(jīng)網(wǎng)絡(luò)是有記憶的，它能夠捕捉到序列的歷史信息并將其應(yīng)用于當(dāng)前輸出的計(jì)算中。在RNN神經(jīng)網(wǎng)絡(luò)中，一個(gè)序列在當(dāng)前的輸出不僅與其在當(dāng)前的輸入有關(guān)，也與前面的輸出有關(guān)，即能夠捕捉到序列的歷史信息并將其應(yīng)用于當(dāng)前輸出的計(jì)算中。而BP神經(jīng)網(wǎng)絡(luò)假設(shè)樣本之間是相互獨(dú)立的，無(wú)法將數(shù)據(jù)在時(shí)間上的相關(guān)性考慮進(jìn)去，因此在處理序列數(shù)據(jù)時(shí)采用RNN神經(jīng)網(wǎng)絡(luò)可以避免BP神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)。

油田產(chǎn)油量除了受到工作量、地質(zhì)因素和技術(shù)因素等影響之外，在時(shí)間上也表現(xiàn)出較強(qiáng)的相關(guān)性，若進(jìn)行產(chǎn)油量預(yù)測(cè)時(shí)未將其考慮進(jìn)去則會(huì)對(duì)預(yù)測(cè)的準(zhǔn)確度造成較大的影響，因此RNN神經(jīng)網(wǎng)絡(luò)更適合于油田產(chǎn)油量的預(yù)測(cè)。RNN神經(jīng)網(wǎng)絡(luò)主要是利用其隱藏層單元將產(chǎn)油量在時(shí)間上的相關(guān)性考慮進(jìn)去，其隱藏層單元展開如圖1所示。

由當(dāng)前步的輸入和隱藏層上一步的狀態(tài)計(jì)算得到當(dāng)前步的狀態(tài)為：

RNN神經(jīng)網(wǎng)絡(luò)可以通過(guò)時(shí)間反向傳播（Back-Propagation Through Time，簡(jiǎn)稱 BPTT）算法進(jìn)行訓(xùn)練。由于RNN神經(jīng)網(wǎng)絡(luò)每一隱藏層的各個(gè)時(shí)間步都共享權(quán)重參數(shù)U，W和V，即當(dāng)前損失函數(shù)對(duì)網(wǎng)絡(luò)權(quán)重的偏導(dǎo)數(shù)不僅與當(dāng)前時(shí)間步有關(guān)，還與之前的時(shí)間步有關(guān)，因此需要對(duì)每個(gè)時(shí)間步反向傳播的結(jié)果利用鏈?zhǔn)椒▌t進(jìn)行疊加，得到損失函數(shù)對(duì)網(wǎng)絡(luò)權(quán)重的偏導(dǎo)數(shù)，再通過(guò)梯度下降對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行更新。

在RNN神經(jīng)網(wǎng)絡(luò)中，理論上隱藏層第t時(shí)間步的狀態(tài)是可以包含前面所有時(shí)間步信息的，但隨著時(shí)間步反向迭代的進(jìn)行，較遠(yuǎn)時(shí)間步的梯度會(huì)逐漸趨近于0，致使標(biāo)準(zhǔn)RNN神經(jīng)網(wǎng)絡(luò)無(wú)法學(xué)習(xí)到長(zhǎng)期依賴，這被稱為梯度消失（Vanishing Gradient）問(wèn)題。

在建立油田產(chǎn)油量的預(yù)測(cè)模型時(shí)，利用的數(shù)據(jù)往往是一個(gè)較長(zhǎng)周期內(nèi)的年度數(shù)據(jù)，甚至是大量的月度和每日的數(shù)據(jù)。因此，如果直接基于RNN神經(jīng)網(wǎng)絡(luò)構(gòu)建預(yù)測(cè)模型，則會(huì)由于梯度消失的問(wèn)題對(duì)較早時(shí)期的數(shù)據(jù)無(wú)法學(xué)習(xí)。

1.3 LSTM神經(jīng)網(wǎng)絡(luò)

為了解決梯度消失問(wèn)題，有學(xué)者對(duì)標(biāo)準(zhǔn)RNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了LSTM神經(jīng)網(wǎng)絡(luò)［15］。在RNN神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，LSTM神經(jīng)網(wǎng)絡(luò)引入了記憶單元（Memory Cell）和隱藏層狀態(tài)（Cell State）的機(jī)制來(lái)控制隱藏層之間的信息傳遞。一個(gè)LSTM神經(jīng)網(wǎng)絡(luò)的記憶單元內(nèi)有3個(gè)門（Gates）計(jì)算結(jié)構(gòu)（圖2），分別是輸入門（Input Gate）、遺忘門（Forget Gate）和輸出門（Output Gate）。其中，輸入門能控制新信息的加入或?yàn)V出；遺忘門能忘記需要丟掉的信息以及保留過(guò)去有用的信息；輸出門能使記憶單元只輸出與當(dāng)前時(shí)間步相關(guān)的信息。這3個(gè)門結(jié)構(gòu)在記憶單元中進(jìn)行矩陣乘法和非線性求和等運(yùn)算，使得記憶在不斷的迭代中仍然不會(huì)衰減。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)的記憶單元結(jié)構(gòu)Fig.2 Memory cell structure of LSTM neural network

第t時(shí)間步輸入的信息首先通過(guò)輸入門，第t時(shí)間步記憶單元輸入層的值和隱藏層狀態(tài)的候選值分別為：

隨后，信息通過(guò)Forget Gate，第t時(shí)間步記憶單元遺忘層的值為：

此時(shí)，可以得到記憶單元隱藏層狀態(tài)在第t時(shí)間步時(shí)的更新值為：

最后，信息通過(guò)Output Gate，第t時(shí)間步記憶單元輸出層的值以及最終記憶單元的輸出值分別為：

研究［16-17］表明，LSTM神經(jīng)網(wǎng)絡(luò)在諸多條件下的表現(xiàn)均優(yōu)于標(biāo)準(zhǔn)RNN神經(jīng)網(wǎng)絡(luò)。基于以上介紹，針對(duì)LSTM神經(jīng)網(wǎng)絡(luò)對(duì)多元時(shí)間序列建模能力強(qiáng)的特點(diǎn)，采用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)中的特征進(jìn)行挖掘和學(xué)習(xí)，得到更加理想的預(yù)測(cè)模型，對(duì)油田產(chǎn)油量進(jìn)行預(yù)測(cè)。

利用LSTM神經(jīng)網(wǎng)絡(luò)的建模步驟主要包括：①對(duì)所選數(shù)據(jù)集進(jìn)行劃分，得到訓(xùn)練集和驗(yàn)證集來(lái)進(jìn)行交叉驗(yàn)證，并保留一部分作為測(cè)試集對(duì)模型進(jìn)行評(píng)價(jià)。②為避免過(guò)多輸入變量造成求解模型的困難，對(duì)輸入的影響變量進(jìn)行篩選。③為消除各個(gè)變量之間的不同量綱并加快模型訓(xùn)練速度，在輸入數(shù)據(jù)前對(duì)每個(gè)變量的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。④選擇模型的一系列超參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并根據(jù)結(jié)果不斷進(jìn)行調(diào)試，得到最終的預(yù)測(cè)模型。⑤將訓(xùn)練好的模型在測(cè)試集上進(jìn)行測(cè)試，對(duì)比預(yù)測(cè)結(jié)果與實(shí)際值的差距，檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)效果。

2 基于LSTM神經(jīng)網(wǎng)絡(luò)的油田新井產(chǎn)油量預(yù)測(cè)模型

油田的產(chǎn)油量預(yù)測(cè)包括自然產(chǎn)油量、新井產(chǎn)油量、措施產(chǎn)油量等不同構(gòu)成產(chǎn)油量的預(yù)測(cè)。不同的構(gòu)成，影響因素不同，但都可以采用該方法進(jìn)行預(yù)測(cè)。為說(shuō)明方法的使用步驟及驗(yàn)證方法的精度，以某油田新井單井年產(chǎn)油量預(yù)測(cè)為例，構(gòu)建相應(yīng)的LSTM神經(jīng)網(wǎng)絡(luò)模型進(jìn)行產(chǎn)油量預(yù)測(cè)，并與支持向量回歸和BP神經(jīng)網(wǎng)絡(luò)2種方法的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。

2.1 數(shù)據(jù)來(lái)源

選取某油田2001—2017年開發(fā)指標(biāo)中的年度數(shù)據(jù)。其中，將2001—2012年的數(shù)據(jù)作為訓(xùn)練集用于擬合模型，2013—2016年的數(shù)據(jù)作為驗(yàn)證集用于確定網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)，保留2017年的數(shù)據(jù)作為測(cè)試集用于評(píng)價(jià)模型性能。模型的輸出變量是新井單井年產(chǎn)油量，候選的輸入變量包括區(qū)塊的綜合含水率、注采比、單井控制地質(zhì)儲(chǔ)量、采出程度、新井總井?dāng)?shù)、新井當(dāng)年生產(chǎn)天數(shù)。LSTM神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建通過(guò)Keras深度學(xué)習(xí)框架實(shí)現(xiàn)。

2.2 輸入變量篩選

過(guò)多的輸入變量將會(huì)導(dǎo)致網(wǎng)絡(luò)規(guī)模過(guò)大、參數(shù)過(guò)多、收斂速度慢。此外，若輸入變量之間高度相關(guān)，造成變量的重復(fù)使用和數(shù)據(jù)冗余，也會(huì)增加網(wǎng)絡(luò)的計(jì)算量。因此，采用Pearson相關(guān)性分析來(lái)衡量油田數(shù)據(jù)的線性相似度，選擇與新井單井年產(chǎn)量相關(guān)性較高但相關(guān)性較小的輸入變量來(lái)避免上述問(wèn)題。2個(gè)變量的Pearson相關(guān)系數(shù)計(jì)算公式為：

Pearson相關(guān)系數(shù)的絕對(duì)值越接近1，2個(gè)變量間的相關(guān)程度越高；Pearson相關(guān)系數(shù)越接近0，2個(gè)變量間的相關(guān)程度越弱。從所選輸入變量及其之間的相關(guān)性分析結(jié)果（表1）可以看出，綜合含水率與單井控制地質(zhì)儲(chǔ)量、采出程度相關(guān)系數(shù)達(dá)到0.77以上，說(shuō)明這3個(gè)指標(biāo)存在較明顯的相關(guān)性，開發(fā)指標(biāo)之間并不是獨(dú)立的。因此，僅選取其中1項(xiàng)綜合含水率進(jìn)入模型即可代表3個(gè)因素對(duì)預(yù)測(cè)變量的影響。同時(shí)，由于綜合含水率、注采比、新井總井?dāng)?shù)、新井當(dāng)年生產(chǎn)天數(shù)4個(gè)變量之間相關(guān)性較低，因此選擇這幾個(gè)作為模型的輸入變量較為合適。

表1 油田所選輸入變量及其之間的相關(guān)性分析結(jié)果Table1 Selected input variables and their correlation analysis result

2.3 輸入數(shù)據(jù)預(yù)處理

在輸入數(shù)據(jù)前，對(duì)每個(gè)變量進(jìn)行極差標(biāo)準(zhǔn)化處理，映射到（0，1）區(qū)間，公式為：

實(shí)際操作中，在變量進(jìn)入模型前，由于考慮了多個(gè)滯后期的影響，需要指定時(shí)間步長(zhǎng)并對(duì)數(shù)據(jù)進(jìn)行重塑。時(shí)間步長(zhǎng)為1意味著t-1時(shí)點(diǎn)的輸入特征會(huì)作為預(yù)測(cè)t時(shí)點(diǎn)目標(biāo)變量的輸入，時(shí)間步長(zhǎng)為2意味著t-2和t-1時(shí)點(diǎn)的輸入特征會(huì)作為預(yù)測(cè)t時(shí)點(diǎn)目標(biāo)變量的輸入，依此類推。最終進(jìn)入模型的數(shù)據(jù)被重塑為（樣本數(shù)目、時(shí)間步長(zhǎng)、特征數(shù)目）三維數(shù)據(jù)。通過(guò)多次調(diào)整，觀察到在利用所選數(shù)據(jù)構(gòu)建預(yù)測(cè)模型時(shí)，采用時(shí)間步長(zhǎng)為3可以得到較好的預(yù)測(cè)效果。

2.4 網(wǎng)絡(luò)訓(xùn)練

采用雙LSTM層的神經(jīng)網(wǎng)絡(luò)模型對(duì)新井單井年產(chǎn)油量進(jìn)行預(yù)測(cè)。經(jīng)過(guò)不斷地調(diào)試和搜索，最終確定模型第1層有50個(gè)神經(jīng)元，第2層有60個(gè)神經(jīng)元，激活函數(shù)采用ReLU激活函數(shù)，損失函數(shù)采用均方誤差函數(shù)，優(yōu)化器為Adam優(yōu)化算法，每次訓(xùn)練的輪次為100。由于多個(gè)網(wǎng)絡(luò)層帶來(lái)大量參數(shù)，實(shí)際訓(xùn)練中容易過(guò)擬合，因此采用Dropout方法防止過(guò)擬合。Dropout方法在眾多數(shù)據(jù)集上被驗(yàn)證是防止過(guò)擬合的有效方法［18］，是指在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，按照一定的比例將神經(jīng)網(wǎng)絡(luò)單元暫時(shí)從網(wǎng)絡(luò)中丟棄。采取的Dropout比例為0.1。另外，由于實(shí)際訓(xùn)練時(shí)網(wǎng)絡(luò)初始權(quán)重的設(shè)定等過(guò)程存在隨機(jī)性，因此將訓(xùn)練過(guò)程重復(fù)實(shí)驗(yàn)30次，將表現(xiàn)指標(biāo)上得到的結(jié)果取平均值作為衡量模型表現(xiàn)的參考。其中一次訓(xùn)練過(guò)程中，模型的損失函數(shù)下降過(guò)程（圖3）以及產(chǎn)油量實(shí)際值和擬合值的對(duì)比（圖4）可以看到，模型在訓(xùn)練集上的損失函數(shù)不斷下降并最終趨近于0，說(shuō)明最終得到的參數(shù)是該結(jié)構(gòu)下的最優(yōu)參數(shù)結(jié)果；而從圖4中可以看到，模型得到的擬合值曲線與新井單井年產(chǎn)油量的實(shí)際值曲線表現(xiàn)出了同樣的趨勢(shì)，并且在每一年度中兩者之間的誤差都比較小甚至十分接近，說(shuō)明模型的擬合效果很好。

圖3 損失函數(shù)下降過(guò)程Fig.3 Loss function decline process

圖4 新井單井年產(chǎn)油量實(shí)際值與擬合值對(duì)比Fig.4 Comparison of actual and fitting values of yearly oil production of new single well

利用模型訓(xùn)練得到擬合值和所選取數(shù)據(jù)的實(shí)際值之間的平均相對(duì)誤差來(lái)衡量模型的擬合效果，30次訓(xùn)練的平均相對(duì)誤差均值為9.91%，說(shuō)明該模型擬合效果較好。

2.5 網(wǎng)絡(luò)預(yù)測(cè)及模型對(duì)比

將訓(xùn)練好的模型用于預(yù)測(cè)2017年新井單井年產(chǎn)油量，根據(jù)標(biāo)準(zhǔn)化的過(guò)程，將預(yù)測(cè)變量逆向還原后與實(shí)際值對(duì)比，并計(jì)算預(yù)測(cè)值的平均預(yù)測(cè)誤差。利用支持向量回歸模型和BP神經(jīng)網(wǎng)絡(luò)對(duì)同一數(shù)據(jù)集建模進(jìn)行預(yù)測(cè)。從3種方法的預(yù)測(cè)結(jié)果及對(duì)比（表2）可看出，LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值為1 255.67 t/a，與實(shí)際值1 287.76 t/a差距較小，平均預(yù)測(cè)誤差為1.45%，說(shuō)明應(yīng)用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)油田產(chǎn)油量的預(yù)測(cè)精度較高；并且30次訓(xùn)練過(guò)程中預(yù)測(cè)值的標(biāo)準(zhǔn)差為18.48，預(yù)測(cè)誤差的標(biāo)準(zhǔn)差為0.99%，說(shuō)明構(gòu)建出的模型在不同的隨機(jī)初始權(quán)重下得到的預(yù)測(cè)結(jié)果有著較好的穩(wěn)定性。

表2 3種方法預(yù)測(cè)2017年新井單井年產(chǎn)油量效果對(duì)比Table2 Performance comparison of forecasted yearly oil production of new single wells by LSTM neural network，support vector regression model and BP neural network in 2017

支持向量回歸模型和BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集和驗(yàn)證集上的平均相對(duì)誤差分別為10.92%和12.17%，對(duì)2017年數(shù)據(jù)的平均預(yù)測(cè)誤差為6.24%和9.88%。這2種模型的擬合效果稍差于LSTM神經(jīng)網(wǎng)絡(luò)，預(yù)測(cè)準(zhǔn)確性相比于LSTM神經(jīng)網(wǎng)絡(luò)差距較大。因此基于LSTM神經(jīng)網(wǎng)絡(luò)構(gòu)建的新井單井年產(chǎn)油量預(yù)測(cè)模型的效果要優(yōu)于基于支持向量回歸和BP神經(jīng)網(wǎng)絡(luò)構(gòu)建出的模型。

將3種方法得到的擬合和預(yù)測(cè)結(jié)果分別與實(shí)際值對(duì)比（圖5）可以看到，LSTM神經(jīng)網(wǎng)絡(luò)模型不僅能夠擬合和預(yù)測(cè)得更加準(zhǔn)確，還能更好地把握住數(shù)據(jù)變化的趨勢(shì)，而另外2種模型對(duì)數(shù)據(jù)趨勢(shì)的把握都稍差于LSTM神經(jīng)網(wǎng)絡(luò)模型。

圖5 3種方法新井單井年產(chǎn)油量實(shí)際值與擬合值對(duì)比Fig.5 Comparison of actual and fitting values of yearly oil production of new single well estimated by three methods

3 結(jié)論

提出基于LSTM神經(jīng)網(wǎng)絡(luò)的油田新井產(chǎn)油量預(yù)測(cè)模型。以某油田新井單井年產(chǎn)油量預(yù)測(cè)為例，說(shuō)明了方法使用步驟，驗(yàn)證方法精度。利用Pearson相關(guān)性分析對(duì)網(wǎng)絡(luò)輸入變量進(jìn)行了篩選，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及確定參數(shù)，將數(shù)據(jù)歸一化并重塑后對(duì)模型進(jìn)行訓(xùn)練并進(jìn)行預(yù)測(cè)。實(shí)例結(jié)果表明，與支持向量回歸模型和BP神經(jīng)網(wǎng)絡(luò)相比，LSTM模型預(yù)測(cè)精度較高、適應(yīng)性較強(qiáng)，基于LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法是可行的，可以作為一種新的方法用于預(yù)測(cè)油田新井產(chǎn)油量。

符號(hào)解釋：

Sj——下一層第 j個(gè)神經(jīng)元的凈輸入；j，i——變量，1，2，…，n；wji——第i個(gè)神經(jīng)元與下一層第j個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值；xi——第i個(gè)神經(jīng)元的輸入，即自變量的第i個(gè)樣本點(diǎn)；bj——閾值；yj——下一層第j個(gè)神經(jīng)元的輸出，即因變量的第j個(gè)樣本點(diǎn)；f(·)——傳遞函數(shù)；wij——神經(jīng)元之間的權(quán)值；st——隱藏層第t時(shí)間步的狀態(tài)；t——隱藏層記憶單元的時(shí)間長(zhǎng)度；θs——隱藏層激活函數(shù)；U——輸入層到隱藏層的權(quán)重矩陣；S——神經(jīng)網(wǎng)絡(luò)的隱藏層；W——隱藏層到隱藏層的權(quán)重矩陣；V——隱藏層到輸出層的權(quán)重矩陣；o——神經(jīng)網(wǎng)絡(luò)的輸出層；x——神經(jīng)網(wǎng)絡(luò)的輸入層；xt——第t時(shí)間步時(shí)的輸入；ot——第t時(shí)間步記憶單元輸出層的值；θo——輸出層激活函數(shù)；it——第t時(shí)間步記憶單元輸入層的值；θi——該層激活函數(shù)；Wi——記憶單元中輸入對(duì)應(yīng)的權(quán)重；Ui——記憶單元中上一時(shí)間步輸出值對(duì)應(yīng)的權(quán)重；ht-1——上一時(shí)間步輸出值；bi——記憶單元中的常數(shù)；C?t——第t時(shí)間步隱藏層狀態(tài)；θC——隱藏層激活函數(shù)；WC——隱藏層中輸入對(duì)應(yīng)的權(quán)重；UC——隱藏層中上一時(shí)間步輸出值對(duì)應(yīng)的權(quán)重；bC——隱藏層中的常數(shù)； ft——第t時(shí)間步記憶單元遺忘層的值；θf(wàn)——遺忘層的激活函數(shù)；Wf——遺忘層中輸入對(duì)應(yīng)權(quán)重；Uf——遺忘層中上一時(shí)間步輸出值對(duì)應(yīng)的權(quán)重；bf——遺忘層中的常數(shù)；Ct——隱藏層狀態(tài)在第t時(shí)間步的值；?——矩陣的哈達(dá)瑪積（Hadamard Prod?uct）；Wo——該層中輸入對(duì)應(yīng)權(quán)重；Uo——輸出層中上一時(shí)間步輸出值對(duì)應(yīng)的權(quán)重；Vo——輸出層中隱藏層狀態(tài)對(duì)應(yīng)的權(quán)重；bo——輸出層中常數(shù)；ht——第t時(shí)間步最終輸出值；θh——對(duì)隱藏層狀態(tài)值的激活函數(shù)； r——Pearson相關(guān)系數(shù)；N——樣本數(shù)量；xij——第i個(gè)樣本第j個(gè)變量的值。